Я думаю, он просто не знает, как вообще со своими детьми общаться: нормальной-то семьи не видел и не имел, считай. Вряд ли он хорошим примером считал Дурслей. Плюс, всю юность и позже больше спасением магмира занимался, чем семьей.