Jinger Beer
Этот ролик может служить только примером того, какая бездна ещё лежит между нейросетями и рисованием кино.
Картинки превращаются в гифки по пару-тройку секунд без какого-либо движения камеры и достаточно коряво, при этом все картинки абсолютно разные и никакой изобразительной связи между ними нет.
Это сейчас критика конкретной работы, а не нейросеток в целом.
Есть, справедливости ради, рисователи гифок получше, но уже за денюжку.
И есть рисователи реалистичных кадров, да.
К примеру, есть модель гугл VEO2 text 2 video, которая умеет в реализм и движение камеры, https://fal.ai/models/fal-ai/veo2?share=19ff09d1-a809-4b96-901f-b2788eb16f80
стоит 0.5 доллара за секунду, бесплатно её никто не даст. Но у неё есть ограничения по длине видео, разрешению, есть ещё проблемы с отрисовкой, и главная проблема длина контекстного окна.
И как обычно, на промо висят лучшие результаты, а не худшие, так-то как обычно будет ебля с промтами, чтобы получить хорошее и нужное. А каждый запрос - денежка.

Короче, тут ещё есть тонна работы, нужно тренировать модели, особенно в рамках долгих видео, потому что нужны и датасеты, и бенчи, и метрики оценки какого-то долгого продукта по констистентности отрисовки, и так далее. Переход прямых от раскадровок к видео необязательно поможет, по крайней мере, без возможности задать модели предварительный контекст три-д моделью, чтобы она знала, как выглядит персонаж в каждом месте, а не придумывала заново на каждую раскадровку.
В общем, предстоит много интересных штук, как с точки зрения архитектуры, промт-инжинирнга и удержания контекста, так и создания сетов для обучения и валидации. Вопрос в том, получится ли, сколько это будет стоить, и не упрется ли оно в какой-то предел по стоимости. Зависимость между размером модели и качеством тут тоже - по крайней мере с моей не совсем глубокой в теме колокольни - не ясна; с какого-то момента может оказаться так, что увеличение числа параметров уже не дает такой сильный прирост, чтобы это было выгодно по деньгам. И где-то там вдалеке ещё маячат технические соображения по мощности и стоимости видеокарт...