Гарри ребёнок был тогда ещё, не приученный расспрашивать о родителях - даже наоборот, приученный этого не делать. А потом ему уже всё показали .)
Мне кажется, он с детства настолько привык слышать про родителей плохое, что у него закрепилась эта ассоциация. И он предпочитал вообще не спрашивать, подсознательно ожидая, что сейчас будут гадости (