Со словом знать то же самое. Изначально это не просто обозначение совокупности знатных людей, а довольно презрительный собирательный термин, как, не знаю, «мажорьё» или типа того.