Я бы склонилась именно или к отцу, или к человеку, который будучи магом, жил в отрыве от традиционного магического общества.
Кстати, я по зиме теоретизировала, что магических обществ в России могло быть несколько. Так что он мог быть включен в другой слой. Согласитесь, у мага-дворянина было бы куда больше общего с магглом-дворянином, чем с человеком более низкого положения. Опять-таки дедушка-священник мог стать причиной отказа от обучения магии, что прибавляет нам интересных тем для словоблудия))))