А ещё можно рассмотреть так: человек любит партнёра, ему трудно его возненавидеть (сразу хотя бы), поэтому ненависть и обвинения переходят на того изменщика.