Именно что "с нифига". Потому что ни одного внятного аргумента, почему оно ВДРУГ оскорбительно, отличных "ну, я/они просто так считают" вы не привели".

Все другие перечисленные вами слова (кроме, как ни странно, "калеки") такие недвусмысленные признаки оскорбительности, что характерно, имеют. В случае "нигера" есть намеренное искажение слова, оно исходно имеет характер клички, а не нейтрального наименования. А "чурка" и вовсе восходит к вполне конкретному оскорбительному мему. Оба этих слова никогда не были нейтральными, не употреблялись, допустим, в документах, не фикситровались в словарях как нормативная лексика и т.д. Их оскорбительный характер очевиден. С "бабой" все несколько сложнее. Это слово долго было вполне нормативным. Но при этом с самого начала содержало специфический смысловой оттенок: не просто "женщина", а "женщина [замужняя или немолодая] из низших сословий", к женщинам вообще его уже сто лет назад применяли разве что с шутливым или презрительным оттенком (фиксируемым толковыми словарями). Со временем эта тенденция естественным образом набрала силу.

А вот что не так с "гомосексуалистом" - хз. Никаких негативных коннотаций там отродясь не было. Максимум, что можно вспомнить (и то - сильно притягивая обоснование за уши), так это то, что это слово было доминирующим в период, когда к самому явлению в обществе не было нейтрального отношения. Это чисто теоретически может связывать с ним какие-то сторонние по отношению к самому слову негативные ассоциации, вот только оскорблением объективно все равно не делает.