А ставил ли своей целью Волди, уничтожение/порабощение магглов в принципе? Он вроде как был на позициях полной изоляции Магмира от магглов и магглорожденных, которые, если придерживаться официальной позиции Министерства "воровали магию" у чистокровных волшебников. Таким образом, под реальной угрозой были лишь те магглорожденные, кто уже обучался/окончил Хогвартс и поддерживали связи с магами. Если магглорожденный волшебник не обучался в Хогвартсе, либо после его окончания полностью порвал с Магмиром, то и опасность ему и его родственникам не грозила, либо была минимальной.