И по сути я думаю, что Лили он отпустил. А на стороне Дамблдора был потому что он меньшее зло, а тем, что он делает это ради любви к Лили, он просто прикрывался.
Не может мужик страдать по образу 20 лет. У них даже физического контакта в горизонтальной плоскости не было.