Что было в каноне, мы толком не знаем. Может, он ее и отдал Волдеморту, не испытывая никаких чувств. Но тут ведь автор показывает, что чувства к жене у него есть, а она при этом любит другого. Потому мне его и жалко.