Ну он и не строил. Скажем в случае если у Блэка поехала крыша в Азкабане. Он убедил себя, что не предавал Поттеров, а это сделал Питер. Поэтому он сбежал из Азкабана и не причинял вреда Гарри.
Кстати, вопрос возник. Отрывок из текста: 'Сынок, — Джеймс устало потёр лоб. — Понимаешь, Фиделиус можно уподобить замку, ключ от которого у одного человека. У Хранителя. И отобрать этот ключ силой или хитростью нельзя. Ни пытки, ни Империус, ни угрозы тут не помогут. '
А вот размышления Дамблгада у автора: "Оставалось устроить визит Вольдеморта в Годрикову Лощину, но тут всё вышло даже лучше, чем надеялся Альбус — он думал, что придется долбануть Блэка Империусом, после чего оставалось лишь немного подождать. Но тот переметнулся сам. "
C одной стороны Империус не поможет, а с другой надо долбить им Блэка.

Ну да, согласен. Всё же стоило Гарри немного втолковать, что так поступать не стоит. Согласны?
Я сразу вообразил эту ситуацию и вопрос Гарри к Гермионе - почему ты от меня это всё скрыла, да и палочку ещё отобрала?
Вот она бы и поняла свою ошибку.