Это не измена, ну потому что если рассуждать так, то встречи с друзьями или там родителями - тоже измена. Ну как же, вот он/а ушли, когда я не хочу к другу/маме, редиска такая.
Но это же неправильно, нельзя, чтобы кроме второй половинки никого больше у человека не осталось, это ж запредельная сосредоточенность внутри пары и очень часто ни к чем хорошему она не приводит. Плюс зачастую характерный признак абьюза, когда абьюзер старательно выдавливает из окружения партнера всех значимых людей, обесценивая их и чувства к ним.
Нельзя быть все время вместе, надо уметь быть еще и врозь.
Вот ревность может быть, ревновать можно необязательно к любовнице/любовнику.