Мне в таких ситуациях психолог предлагал попробовать я-высказывание (сначала похвалить собеседника по любому поводу, потом высказать свои эмоции по поводу происходящего, а потом рассказать, какой бонус собеседник получит, если не будет так делать). Тупой пример от балды: я знаю, что ты за меня переживаешь, но меня расстраивает, что я не могу никак это сделать, поскольку ты мне мешаешь, если не будешь мешать, я управлюсь быстрее, займемся чем-нибудь интересным вместе. Проблема в том, что эту схему придётся периодически повторять - таковы люди. Терпения вам. Но молчать и отшучиваться однозначно не выход.