Это только фильм. За эту сцену некоторые дотошные фанаты ругают экранизацию ГП и ПП))
В книгах Альбус и Гарри ходили в Хогсмид, там их увидела Розмерта и по жетону-галлеону донесла Малфою, что директор отбыл - т.е. тот понял, что можно приводить Псов в замок.
А на обратном пути из пещеры снова траснсгрессия в деревню, а оттуда, боюсь, ошибиться, - на метлах той же Розмерты до башни.