Ну прочтёт он лишнюю книгу по традициям магического мира, он что Малфоем заделается?
Ну подтянется он по зельям, ему что Снейп канкан станцует?

Поттером занимается Дамблдор. Он для него и сценарий написал и за верёвочки в нужный момент дёргает.
Напоит зельем дружбы, бросит Конфундусом, лестницу в нужный момент к церберу передвинет...Поттер всё равно будет делать то, что нужно Албусу.
Вмешиваться в жизнь Поттера на данном этапе, это привлечь не нужное внимание.

Можно убить Дурслей, но что это даст? Отправится Гарри к Уизли и ещё больше сблизится с ними.
Всё равно ни Блэкам, ни Малфоям, ни Сириусу не дадут забрать Поттера к себе.

Поймите, что с появлением Дианы/Лидии, Поттер перестал быть главным персонажем. Он стал второстепенной декорацией и важен лишь как живой хоркрус и возможный претендент на титул Повелителя Смерти. И то лишь потому, что его роду принадлежит мантия-невидимка. А если он не Поттер? А сын Сириуса?
Таже 17 летняя Лили после окончания Хогвартса жила в одном доме вместе с Джеймсом и Сириусом - прогуливали наследство Джеймса, так как Сириус уже своё от дяди Альфарда профукал,
Вдумайтесь только - никуда не поступали учится, не работали - а жили вместе и тратили деньги. А потом свадьба и дитё на подходе!
Это кстати из интервью Роулинг! Трактовать эти сведения можно очень неоднозначно!
Если бы моя дочь бы так поступила, я бы ей такой скандалище закатила!

В случае, если родовым артефактом (мантией) может возпользоваться любой, то и полезность Поттера существенно падает.
Я думаю, не спроста Албус вернул мантию Поттеру, наверное понял что для него самого в полную силу этот артефакт работать не будет, так как принадлежит Поттерам..
Но всё это лишь спекулятивные домыслы.