По-моему, всё вообще не так. Антоним слова "мужик" здесь не "баба", а "господин". Речь об отношении к своим крестьянам.