"А я вообще этот телефонный трёп на работе не люблю, даже когда относительно свободна."

Почему-то все знают подробности вашего рабочего процесса, но об вот этом факте не в курсе. Ещё раз, установите порядок общения. Не стесняйтесь высказывать недовольство разговором. Они обижаются? А вы тем более обижайтесь. Ваше время крадут - это больший повод для недовольства.

Я просто помню начало моего фриланса. Это был просто ппц. И у меня заняло почти месяц донести до всех, что даже если я дома, то я на работе. Даже если это выходной. Хорошо, что с женой проблем не возникло, а вот родственники-друзья-знакомые попустились.