У человека, похоже, есть встроенная система распознавания своих-чужих. Поэтому "не то" словечко, "не те" шмотки и "не тот" цвет кожи вызывают очень живую реакцию. В обществе сейчас не принято это показывать, но культурной норме лет 20-50, а биологической - пара тысяч.

А так да, бывает, что раздражает, но это быстро проходит, не важно все это.