По-моему, это чисто личное: не любить Гермиону, потому что она девочка, но сильно умней всех окружающих мальчиков. И это бесит и хочется ее обвинить во всем, в зависимости от предпочтений обвиняющего.