Лили и Джеймс ведь как-то за 1,5-2 года войны (от окончания Хогвартса до произнесения пророчества) "трижды бросили вызов". То есть троекратное личное пересечение с Волдемортом на поле боя, хотя он, зная его, ходил лично помахать палкой скорее всего по большим праздникам.

Если у них и после рождения Гарри сохранился прежний уровень оперативной работы, то помня про смерть Дамблдора и последствия для дома на Гриммо - гибель Лили или Джеймса вызвала бы "расползание" хранителей.