Всё просто, ветвь меняется только для путешественника, при возвращении в изначальную "дату". И меняется то, на что путешественник повлиял сам, или с его участием.