Не обязательно растет или стареет. Есть стазис - он локально останавливает время. Буквально объект под стазисом замораживается и перестает изменяться, хотя для окружающих предметов время движется. Есть хроновороты, которые обращают время вспять и позволяют менять цепь событий. Человек, им пользуется, стареет, но окружающее пространство - нет. Более того, пространство, которое "постарело", путешественник во времени может "омолодить" и вернуть к предыдущему состоянию. Может и Поттер так: пока сидел два дня на Саргассе - взрослел-старился. Как только вернулся на Землю - откатился в настройках своего физического тела на два дня назад. В чистом итоге время для его организма на время пребывания на Саргассе остановилось. Кроме того, существуют также ненаносимые области пространства, которые находятся в другом измерении и вообще не принадлежат нашему миру (а Саргасс как раз такой). В других мирах могут работать и совсем другие законы физики, которые мы не в состоянии осмыслить. Тем более, что в мире магии они и так не соблюдаются. Ни закон сохранения энергии не работает, ни гравитация. Ничто не запрещает и законы времени отменить. В "Кастеляне" хватает непродуманных косяков и безобоснуйных странностей, но замораживание времени на Саргассе - далеко не самая странная вещь.