Поговорить? Ну, во-первых, сначала ему было не до этого, победа, суды, передел власти - пристроил ребенка, сплел легенду и слава богу, а потом... Вспомните, как Вернон встретил Хагрида, и это смирившись со своей горькой судьбой в лице Гарри, а тогда? Вернон драку мог бы затеять раз, а два - психануть и выкинуть племянника в приют, потом бы пожалел, но было бы поздно - у службы опеки было бы дохрена вопросов. Уж лучше не провоцировать.
А империус не выход, Дамблдор же светлый и все такое.