Почему сложнее? Если работать у волшебников? У магглов мало кто работает всё-таки... ну и можно нанять волшебную няню. Или эльфа, это недорого.
А можно взять с собой.
И, судя по Гарри, много выбросов не бывает, всё же это редкость. Иначе его не оставили бы без присмотра у магглов.