Разумеется, хуже было Риддлу. Приют Англии 30-х это ни разу не уютный чулан Дурслей и ничуть не лучше, чем Во-первых, там регулярно умирали, и это никого особо не заботило. Даже никаких бомбежек не нужно, банально простудился - сдох. Во-вторых, там жилось голодно, холодно и больно. Таких слов как «права ребенка» никто не слышал. Пиздюлей можно было отхватить на ровном месте, от любого взрослого или подростка, причем безо всякой вины. И речь не про подзатыльники от Дурслей. Получить увечье можно было как нефиг делать. А уж розги и вовсе применяли для профилактики. То же с едой - Гарри в каноне упоминал, что Дурсли никогда не морили его голодом, просто никогда не давали есть досыта и ту еду, которая ему нравилась. А вот Том, вполне вероятно, голодал. В третьих, там надо было постоянно заниматься тупой и тяжелой физической работой. Это тебе не Дурсли, которые требовали готовить завтрак и подстригать лужайку - пахали все будь здоров без выходных и почти без праздников с самого нежного возраста и вплоть до 14-15 лет, когда подавляющее большинство воспитанников выкидывали из приюта, устраивая работать на фабрики или фермы. В четвертых, учеба воспитанника приюта 30-х и обычного школьника в 80-х - это две большие разницы. И речь не только о качестве образования, но и о самом процессе. Тупое зазубривание, «вбивание» науки в самом прямом смысле, учитель всегда прав, какой бы бред он не нес, и только попробуй сказать что-то поперек. Это не упоминая религиозной составляющей, которая была очень велика.
Думаю, именно приют послужил великолепной школой воспитания «слизеринства» для Тома - именно там он научился виртуозно лгать, притворяться, изображать из себя хорошего мальчика, втираться в доверие, скрывать улики, подставлять других и т.п.
Короче, у Тома были реальные проблемы с самого младенчества. А основной проблемой маленького Гарри было то, что Дурсли его не любили. Никакого фанонного Дурльскабана не было, достаточно посмотреть, как себя ведет Гарри в начале первой книги - спорит с Верноном, огрызается, насмехается над Дадли, etc. В приюте 30-х ему бы быстро спустили шкуру со спины и задницы, у него бы даже мысли не возникло не то, что пререкаться - недовольную физиономию кривить.