На самом деле даже в нормальном месте вполне может быть человек, делающий его ужасающим. Более того, довольно часто этот человек ну... не выглядит как основной источник проблемы. Это что-то в духе "ты опять не можешь, да?" - такое...как к инвалиду по умственному развитию, "тебе это, наверное же, не интересно" - так...жалеюще-презрительно, мол, "что с тебя, убогой, взять". И сотни и сотни таких моментов. Один - просто не замечаешь, два - совпадение, три - может что-то со мной не так? Их не отслеживаешь - а они, как тот суслик, есть. И портят каждый день настроение.
У меня так было на обеих работах (на второй мне абсолютно искренне казалось, что у меня едет крыша). И нет, это не значит "значит с вами что-то не так", в обоих случаях всё налаживалось после ухода конкретного человека. На второй был...разговор потом с другой коллегой - сильно, сильно позже. Всплыло несколько очень, очень хм... "интересных" ситуаций именно с этим человеком.
Из практического - либо вычленить таких людей и постараться нейтрализовать из воздействие на себя и забить, либо уходить.