Гермиону он приглашал как подругу Избранного, а Малфоя не пригласил, чтобы с этим самым Избранным не поссориться.
Кстати, да. "Акции" Малфоя-младшего именно в тот год сильно упали в связи с попаданием его отца в Азкабан. Думаю, если бы Слагхорн вернулся в Хогвартс хоть на год раньше, Малфой был бы одним из первых кандидатов в Клуб.
Да и Гермиона... Слагхорн, насколько помню, как-то выразился в духе "талантлива, хотя и магглорожденная" - правда, в адрес Лили Поттер, но сама фраза весьма показательна.