#цифровое #ии #вкалывают_роботы #нейроарты #длиннопост
Нейрокартинки похожи на сон: сначала думаешь «Ух ты, круто!», а приглядевшись замечаешь всё больше несуразностей.
Комплексный подход к созданию артов: генерация, редактирование, коллажирование
Где я и где изобразительное искусство… Никогда не умел рисовать, никогда не мог воплотить придуманную композицию даже в «чертёж рисунка» в графическом редакторе, а все «кисти», «пульверизаторы» воспринимал как «ну, оно есть, конечно, но воспользоваться этим в принципе невозможно». И нейроарты казались прорывом, победой человеческого разума, шансом: вот сейчас сделаю. Надо только набрать подходящий запрос, и нейросеть сделает всё хорошо. Нет. Нейросеть не учитывала нужные детали и добавляла ненужные. Бесконечные улучшения запросов не приводили к требуемому результату. Иногда она беленилась и выдавала совсем не то. Иногда почти попадала в настроение, но… вот бы усы от Ивана Ивановича, да к носу Ивана Семёновича. Несколько сотен сгенерированных картинок (к разным рассказам), отобранных как «почти», просто красивые, «в этом что-то есть», не считая тех, что сразу были отброшены, и из этого удалось выбрать с натяжкой одну для обложки одного фанфика. Могу только позавидовать тем, кто умеет составлять запросы, тем, у кого получается с первых нескольких раз, но мне нейросети рисуют совсем не то, что у меня в голове.
К счастью, сейчас нейроарты можно редактировать (и всегда можно было, фотордактор вам в руки, но это казалось страшным и сложным). Те, кто давно этим пользуется, не найдут здесь ничего нового, никаких глубоких секретов, просто минимальный обзор для тех кто вообще не знает, что так можно (ну, если такие найдутся).
Генерация
Набираешь примерный запрос, уточняешь, добавляешь отрицательные запросы (если поддерживаются), пристреливаешься, стреляешь по площадям, снова уточняешь… Всем всё известно, и, наверняка, большинство превосходит меня в этом. Однако есть возможность влиять на результат более точно, не посредством запроса. Это ControlNet, общее название для различных инструментов, позволяющих более точно указывать нейросети композицию рисунка. Упомяну два, как мне кажется, наиболее доступных и перспективных.
Карта глубин – рисуется в любом графическом редакторе расчерчиванием областей и заливкой различными градациями серого. Белый цвет означает самые близкие к нам объекты, чёрный – наиболее отдалённые. Допустим, чёрное небо, серый фон – там будет лес, посветлее избушка, и белый герой – палка, палка, огуречек. Нейросеть будет пытаться рисовать в границах этих зон.
Openpose – проекция карты костей человеческого тела на плоскость рисунка. Каждая кость имеет определённый цвет (но не обязательно рисовать их все). Таким образом можно пытаться задавать позу: колени согнуты (человек бежит), руки вверх, вниз или вширь. Конечно, надеяться на совпадение можно только условно.
Картинка в картинку (Img2Img)
Я разделю такого рода перерисовку и собственно редактирование. Вы отдаёте нейросети исходный рисунок и объясняете, что хотите получить (или что хотите изменить, как договоритесь). Обычно в этом режиме указывается «интенсивность изменений». Она имеет разные значения для различных нейросетей: для одной 0,4 будет достаточно много, для другой – слишком мало. Пробуйте запросы, пробуйте менять «интенсивность изменений», если картинка изменяется слишком сильно или, наоборот, недостаточно.
Редактирование
Используется нейросеть натренированная специально на внесение изменений: удалить объект, добавить, перекрасить, сделать отдельную часть ярче или тусклее и ещё много чего. Используются короткие точные запросы вместо привычных витиеватостей. Качество поражает. Запросы выполняются именно с той «тупой машинной логикой», к которой мы привыкли по фантастике прошлого века – именно то, что мне лично нравится. Есть возможность указать на рисунке зоны внесения изменений. Один конкретный совет: формула всегда будет «in square», не «внутри квадрата», не «в прямоугольнике», даже если будет выделен прямоугольник.
Но, опять же, генерация больное место всех. Удаляет или перекрашивает нейросеть идеально, а рисует – насколько умеет и насколько умеешь объяснить ей. Так что, если не получается «Заменить шило в квадрате на мыло», можно попытаться сделать это в два этапа.
Фоторедактор. Куда без него, и не надейтесь.
Коллажирование
Та же нейросеть, используемая для редактирования, может работать и с несколькими изображениями. Но собрать всё вместе достаточно сложно. Некоторые нейросети понимают прямые ссылки на картинки: «Девушка с картинки 2 сидит за столом с картинки 1», некоторые так не умеют (тогда хорошо, если девушка хотя бы одна), но в любом случае задача достаточно сложная.
Фоторедактор. Если не получается получить требуемое в один клик, а уже использовал двести, можно максимально подготовить объект для переноса (развернуть, заставить принять другую позу), а затем действовать вручную.

Пример.
Генерация. (SDXL) Асока Тано и падаван мужского пола стоят в сосновом лесу обнявшись… Что-то в этом роде.

Явно видны проблемы, но, в общем, эта картинка самая лучшая из трёх десятков.
Редактирование (FLUX.1 Kontext Dev) (обратите внимание на название: именно это, а не «нечто похожее») Удалить косу в квадрате.

Он ещё и заапскейлил бесплатно, хотя размеры стояли конкретно изначального изображения. Похоже, конкретный глюк интерфейса сайта.
Была мысль, что делать с уходящей назад прядью, но пусть это будет бывшая падаванская коса, не обрезанная, а заплетённая так. По-моему, интересная деталь, только играющая на имидж.
Картинка в картинку. (ADetailer с набором hand_yolov8s.pt поверх FLUX.1 Kontext Dev)
ADetailer – отдельная нейросеть, натренированная на улучшение отдельных частей человеческого тела. Теоретически, должна работать по принципу «сделай всё хорошо сама» – сама находит, сама улучшает. На практике это работает не очень. ADetailer имеет собственные запросы, положительный и отрицательный, отдельно от основной генерирующей (или ничего не делающей) нейросети. Можно попытаться запустить без запросов, она пытается всё же улучшить свою часть, но не сильно хорошо. Впрочем, и с запросами пришлось делать в несколько итераций – выбирать лучшее и снова дорабатывать.

Оригинальная рука.

Только отрицательный запрос, повреждённые пальцы.

Следующий этап, положительный: красивые нежные пальцы. Отрицательный: повреждённые пальцы, сбитые костяшки.

Следующий этап, положительный: укоротить пальцы.
Мне они показались слишком длинными, не очень-то они укоротились, но, кажется, стали получше.

Окончательный вариант изображения после редактирования нейросетью.
Редактирование. GIMP.

Окончательный результат. Как говорится, найди 10 отличий (не считал, на самом деле сколько их здесь). Начиная с того, пока я смотрел на женскую руку, мужская рука тоже продолжала «творчески переосмысливаться» нейросетью, так что пришлось делать что-то на основе первого варианта.
Это небольшой обзор, просто показывающий возможности. Генерация, это только первый этап. Смотрите на неё через прицел: насколько она отвечает основному настроению и насколько легко её можно доработать. За последние несколько дней я сделал несколько обложек к своим рассказам, и ни одно из этих изображений не обошлось без доработки, хотя бы минимального подкрашивания в фоторедакторе.