Так колдовство же :) Изменение внешности и все такое.
Там суть в том, что еще до визита Волдеморта в Годрикову Лощину на месте семьи Поттеров оказались другие люди (по разным причинам, но тем не менее). Причем Дамблдор не рассчитывал, что ребенок выживет - но тот выжил, а Лорд развоплотился. Ну и дальше пошло-поехало.

В принципе, сюжеты неплохие на самом деле, только это получается по умолчанию Дамбигад, ибо подставил же невинного постороннего младенца.