Как много выводов на абсолютно не полной и недостоверной информации!
Откуда нам известна численность семей волшебников? Да ниоткуда!
Нам подробно дали численность Уизли, Малфоев и Блеков. Все! Остальные семьи, вроде Поттеров, Лонгботомов или Лавгудов имеют маленькую численность детей из за смерти матерей. А вот дальше... Мы в принципе не знаем есть ли братья у Паркинсон или Гринграсс или Паттил. ГП этим не интересовался вот и нет у нас этой информации. Есть ли старшие/младшие братья и сестры у Дигори? Или он был единственным сыном?
Малочисленность богатеньких Малфоем может иметь простое объяснение- майорат. Менор то у них один, вот и решили не клепать нищету раз наследник с первого раза получился.
У Блеков в главной семье два брата, а во второстепенной как минимум три сестры.

Высокая фертильность у Уизли? Как бы не так! У Прюет! Напоминаю, у Молли было как минимум сестра и два брата близнеца, и она тоже родила близнецов. Это скорее свойство ее рода, а не Уизли, мы не знаем ни о каких многочисленных дядях и тетях с фамилией Уизли.