Тут можно и драму написать. Может быть, Фадж когда-то был опекуном юной Лолиты Амбридж (мать ее бросила, вернулась в маггловский мир, а отец умер). И Фадж был в роли Гумберта. Потом Лолита выросла и стала ему неинтересна - но он ее пристроил на работу в Министерство. А Долорес, которой он сломал жизнь, все еще его преданно любит.
Кстати, по канону похоже, что Долорес была к Фаджу неравнодушна. И в молодости она вполне могла быть очень даже симпатичной.