Мы этого не замечаем, потому что в русском языке слово человек означает как мужчин, так и женщин, детей и кого угодно еще вида человек разумный. А мужчина и женщина - отдельные слова, обозначающие пол человека.
Толерантный язык к нас прост.