Потому что физические законы нарушает магия. Метла, заколдованный предмет, на котором сидит волшебник, их нарушает, но сам волшебник испытывает все положенные на такой скорости физические воздействия, прежде всего перегрузки — нет никакой магии, которая бы оградила его от них.