Просто они в тот момент находились в разных реальностях.
ДДД в той, где Волдеморт вернулся, и с ним вернулась война. Он видел знаки, он готовился, но был не готов. Ситуация экстренная, надо что-то делать с дементорами, великанами и т.д., и всё это надо делать ещё вчера.
Фадж же в той, где всё мирно и тихо, иногда шалят бывшие Упиванцы, но это не слишком опасно. Куда опаснее интриги в министерстве, и главный интриган, всё время дергающий ниточки в непонятном направлении. Все знают, что непонятное - трижды опаснее. А теперь он начал действовать нагло - гнать несусветную чушь и выдвигать невозможные требования. И это означает, что его авантюра вышла на финальный этап. Нужно все силы пустить на противодействие. (Не может же быть так, что Тот-Кого-Нельзя-Называть на самом деле воскрес! Нет, этого точно не может быть!!!)

Это две разных эмоции, два разных мировозрения, и в итоге мы видим не диалог, а два монолога. Потому что друг друга они почти не слышат.