Ну говорю же, это просто стереотипы мышления собеседника. Которые не имеют отношения лично к вам. Что-то совпало с имеющейся информацией - человек делает вывод. Узнает, что он ошибочный, пожимает плечами и идет заниматься своими делами.
Наверное, невозможно просто взять и перестать принимать все близко к сердцу, но было бы полезно)