Скорее всего ,видят неинтересный состав. На всем пути следования и на Ж/Д переездах невидимый поезд может сбить кого-нибудь. Ну , пару раз в году выделено окно в расписании.
Интересно вот ещё что - каким способом скрыта ветка, которая ведет к Хогвартсу ? Несколько раз в году со всей округи прогоняют всех до единого магглов, чтобы никто не увидел, как товарняк пропадает в никуда ?