Ну скажем вот такая конкретизация.

С численностью всё понятно. Пусть женщины являются источниками маны, но сами ею пользоваться не могут, разве что выбрать того, кто может и если что перекрыть ему поток (закрепляем матриархат). Пусть мужчины сами ману не производят, но могут её использовать получая от женщин. Пусть маны у женщины больше, чем может использовать один мужчина. И пусть всё это существует рядом с какой-нибудь пакостью от которой нужно активно отбиваться.