Одно дело уродовать тело а другое дело слетать с катушек.

Мы же не говорим что все инвалиды с уродством тела являются психами и маньяками?
А душа это вообще нечто непонятное и абстрактное. И душа не равно психика.

Так что нигде не говорилось что он слетал с катушек. Вспомните поведение Реддла в приюте, такое же как и после Хога только в больших масштабах. Вот только когда Том был в приюте у него ведь не было крестражей.

Надо признать что Том всегда был с таким "безжалостным" складом ума. Крестражи не разрушали его психику. Добавляли уродство тела? Да. Уничтожали психику? Нет.