Долгие годы Брюллов был связан с графиней Юлией Самойловой, которая была его музой и натурщицей.

В 1838 году Брюллов познакомился с 18-летней Эмилией Тимм (1821—1877), дочерью рижского бургомистра Георга Фридриха Тимма, и влюбился в неё. 27 января 1839 года они поженились, однако уже спустя месяц супруги расстались навсегда. Эмилия уехала с родителями в Ригу, инициированный Брюлловым бракоразводный процесс продолжался до 1841 года. Причина разрыва осталась неизвестной петербургскому обществу, которое во всём обвиняло мужа. Брюллов, оклеветанный, по его словам, женой и её родными, стал изгоем.

Исследователи утверждают, что истинной причиной разрыва стала связь Эмилии с одним из своих близких родственников, которая продолжалась и после её замужества. Вероятно, о неверности невесты Брюллов узнал перед самой свадьбой, которая всё-таки состоялась под давлением родителей Эмилии. В это нелёгкое для художника время его поддержала приехавшая из Италии в Петербург Самойлова