Непосредственно изменой – действия сексуального характера с третьим лицом без предварительной договорённости об оных. Всё остальное, что обычно подразумевают под изменой – сколь угодно тревожные признаки/предвестники измены, но не сама измена как таковая, с моей точки зрения.

Что делал бы – выяснил бы причины (потому что обратная связь в такой ситуации критично важна, чтобы в будущем в такой ситуации не оказаться), а потом расстался бы с таким человеком.