Если просто как описание, да еще и за глаза - то нет, не считаю.
Я сам толстый, и мне как-то пофигу, как обо мне говорят. Особенно когда я этого не знаю, тут прямо как в анекдоте: "Ой, за глаза меня пусть хоть бьют!"
Ну а так - да, когда много знакомых, особенно у которых одинаковые имена, то надо как-то различать. И "толстый", "чернявый", "с веснушками" - это те отличительные черты, которые первыми бросаются в глаза и проще всего считываются собеседником.