Роулинг называет ведьмами только женщин. И различает witchcraft и wizardry, как в названии Хогвартса. Поэтому канон тут требует называть мужчин волшебниками.