С тремя женами в постели неудобно :), а когда их четыре, то по по очереди с двумя женами под боком очень здорово и удобно. Ваша Гермиона на других жен согласилась бы.
Или например у Вас 4 с лишним года скрываясь Гарри монахом жил? А так, когда служил, а Гермиона училась где-нибудь во Франции (язык она знает), то в увольнения к ней портключом перемещался.
Ну или раз Гермиона не важна для дальнейшего повествования, то просто отправить её учиться и упомянуть, что типа у неё всё хорошо, познакомилась с молодым преподавателем и влюбилась.