Министерство, конечно, знает, где Поттер - но далеко не все министерство. Так, узкий круг ограниченных лиц. Амбридж знала - но она таки замминистра. Полукровка Волди может и сообразил бы. Может быть. Он так-то тоже уже давно ушел из магловского мира... но он, сука, умный, он мог бы и догадаться.
Но Волди реально вернулся уже в конце 4 курса. К тому времени какбэ уже все примерно знали, где в случае чего искать Поттера (ибо он, болван, сам это и рассказал), другое дело, что его охраняла защита Лили и Орден Феникса. А вот когда Поттеру было полтора года - просто никому в голову не пришло искать Поттера у магловских родичей Лили.
А так-то да. Если примерно вычислить, где он там живет - можно спокойно и со вкусом прихватить его в школе и не умничать. Можно даже изобразить врачей со ВНЕЗАПНОЙ проверкой школы и срочной необходимостью Поттера куда-то доставить. Пойдет как миленький, сам пойдет и даже немножечко побежит, если дыхалки хватит. Так что защита, если она и есть (какая-то есть, коли уж Квиррел развалился на части) - не гарантия.