На самом деле самовлюбленность Драко и его хвастовство родителями, помнится, при первой еще встрече слишком сильно напомнили Гарри Дадли. Так что у него с самого начала именно против Драко уже было предубеждение, а потом Драко еще начал его воспитывать - с кем дружить, с кем нет. Вообще нормальная реакция, послать такого "потенциального друга" куда подальше.