Да ни разу не по барабану. Это пророчество относится к самоисполняющимся.
Самоисполняющееся пророчество — ложное определение ситуации, вызывающее новое поведение, которое превращает первоначальное ложное представление в реальность. Таким образом откажись Поттер действовать в соответствии с его пониманием пророчества и оно развалится(или будет считаться выполненным в 81 году). Свалил бы в куда-нибудь в Австралию прихватив с собой Гермиону, а маги пусть разбираются со своей проблемой сами, и хрен бы Волдеморт его нашёл.


Судя по канону как раз таки прогадал.