Как по мне, главное, чтобы он других людей нормально воспринимал, не только вас. Я не только про гостей, но и про тётку, чтобы был вариант передержки.
А вообще, вспомните, как в первый день его было не вытащить из зашторья. Это вызывало беспокойство. Кот привыкнет, вы привыкнете, найдётся золотая середина.