Нявочка вежливо указывает на то, что:
1. Никто не обязывал самые плохие воспоминания конкретных пожирателей вызывать у них сильные отрицательные чувства.
2. Никто не обязывал пожирателей вообще помнить о пытках каких-то маглов, которые у них воспринимаются примерно на уровне не самых приятных зверушек (как вариант).
3. Сроки отбывания наказания в Азкабане различаются в широком диапазоне. Осмелюсь предположить, что автоматическое сумасшествие не предусматривается даже на больших, но конечных сроках. Хотя, конечно, очень зависит от "самого плохого воспоминания" и типа личности. Кого-то, может, сподвигнет "выйти и отомстить", почему бы и не да?
Впрочем, лично мне глубоко сиренево на степень логической обоснованности на самом деле. Чай, не научную статью читаю. Да и реальность иногда такие коленца выкидывает, что только успевай удивляться.