А он не мог отказаться по той причине, что вы замужем?
Просто не все готовы рассматривать возможность отношений с женатым/замужней.