С одной стороны, логично. С другой - это не объясняет настолько частого использования в сторону тех, кто, по той же логике, должен на это обижаться меньше.

Например, я ненавижу гороховый суп, и мне было бы обидно, если бы меня назвали гороховым супом. С другой стороны, другие люди гороховый суп не ненавидят, и поэтому пытаться их так оскорбить бессмысленно.
Тогда в чем логика?..