Проблему устаревания по идее удобнее решать не дообучением, а агентными системами и системами типа Research, где нейросетка гуглит материалы, а затем сама уже на их основании генерирует ответа. Или выдача агенту доступа к базе соответствующих документов.
Но этого, по-моему, бесплатно нет, только за подписку. Ну и плюс в том, что неограниченность по времени, минус в том, что дополнительный биас поиска, ранжирования и понимания нейросеткой к обычным проблемам, которые бывают у сетки.
(А ещё есть вопросы к фильтрации информации и того, насколько агент с широким поиском по сети, без указания ему хотя бы специализированных ресурсов и баз будет хорош по мере того, как интернеты наполняются нейросеточным контентом и контентом, направленным на то, чтобы даже обманывать и ломать нейросети.)