Деградация моделей сразу была предсказуема, если модель будут дообучать на той херне, которую она сама и генерирует.