Само его существование либо спорно и пугает окружающих, либо под вопросом ибо он начнёт медленно исчезать из того времени(будущего).

Эм.
Если без возврата - то какая разница? Тем более учитывая классическую проблему веера вариантов.
А вот возвращение - тут уже парадоксы. Но связанные не с смертью путешественника, а с самим механизмом возврата и движением информации против хода времени.
Собственно, не смотря на скептическое отношение многих авторитетов - многомировая интерпретация, когда любое путешествие во времени одновременно сдвигает путешествующего в очередной параллельный мир - кажется наиболее эффективным вариантом.