Смотря что именно имнется в виду. «Любовником женщины, являющейся чьей-то девушкой или женой» — нет. Любовником в понимании «состоял в сексуальных отношениях без их признания» — да.