А он именно внутрь Хогвартса аппарировал, в помещение? Может, он аппарировал на территорию рядом и зашел уже ногами?..
В конце концов тут можно сослаться на неточность/ненадежность рассказчика истории. Мы узнаем историю с чужих слов, а они могут быть искажены/приукрашены/гиперболизированы.