По мне все просто..... ( Незнаю почему в каноне так не поступил Волди но там и так куча ляпов )

В случае с дементорами министерство отправляло сову А раз они отправили Поттеру то там знали кто проживает по адресу где было произнесено заклинание....

Так как у Волди куча шпионов в минестерстве то адрес смог он узнать.... Но защита бы не пропустила мага желающего навредить ГП но ему вредить и не собирались Его захотели "спасти" от жестоких родствеников что и сделали