Люди, а в голову не приходило, что волшебники просто не хотели помногу детей? Это нехилая такая нагрузочка на маму, в плане выносить и родить, потом еще вырастить их хотя бы до Хогвартса. К тому же у них наверняка хорошие и безопасные средства предохранения появились значительно раньше, чем у магглов. Поэтому магглы еще сто лет назад рожали по десятку, а волшебники один-два.
Причем обратите внимание, что по двое тоже вполне есть - Патил, Гринграсс, наверняка еще народ есть, просто Гарри вряд ли сильно интересовался, у кого из его однокашников есть братья-сестры, вот мы и не знаем.