Если рассматривать вариант единственной реальности, то значит должен работать механизм стабилизации этой реальности.

1) Встретил самого себя в прошлом - чтобы избежать парадокса механизм изменил твою память так что ты теперь помнишь эту встречу.
2) Несколько раз встречал себя в прошлом - чтобы избежать парадокса механизм изменил твои мозги чтобы ты помнил обо всех этих встречах.
3) Несколько раз встречал себя в прошлом и разговариал сам с собой - чтобы избежать парадокса механизм изменил реальность так что у тебя с детства была шизофрения из-за который ты говоришь чётко детерменированные фразы во время бесед с самим собой.
3) Несколько раз встречал себя в прошлом, разговаривал сам с собой и даже оказывал на самого себя воздействие - чтобы избежать парадокса механизм изменил реальность так что ты в принципе изначально не имеешь доступа к путешествиям во времени. Начаная от того что тебе просто не достался маховик и заканчивая тем что ты вообще не родился.