Потому что некуда возвращаться. Если оттуда забрать Тома, то уже не будет такого Гарри. Парадокс времени.
На тему временных парадоксов есть кстати замечательный фанфик, который я искренне люблю, не смотря на то, что это Снарри. Жаль, что Вы не читаете слэш.

Темный Лорд по имени Джеймс Сириус это будет по-круче, чем Снейп с косой и с младенцем в Министерстве. Мне заранее жалко магический мир.