Вы путаете причину со следствием. На мой взгляд Волди покусился на камень и лишь потом дамби организовал ловушку.
Даже если не вселяться, то не думаю что волди будет ждать 4 года в образе духа, пока Поттер растёт и увеличивает свою мощь.