Любил.
Мог бы - женился бы на ней, но у них не сложилось: то он был женат сперва, потом она вышла замуж... и всё как-то так и осталось. Пока она не овдовела.
Любовь - она разная бывает. И далеко не всегда свойственна только хорошим людям. Она сильная была - я думаю, это его и зацепило.