#it #нейросети #нейросеть

Возможности Comfy Desktop мне нравятся всё больше и больше.

Сегодня решил собрать более мощную версию генератора изображений на основе MOSS Image. Нам доступны не только модели для генерации изображений, но и модели для генерации текстов. И мы можем их использовать, например, для того, чтобы автоматизировать детализацию описания изображений, которые мы хотим получить.



На этот раз workflow получился побольше, поэтому я решил разбить его на логически связанные модули. Первый модуль — Inputs, где мы вводим данные для желаемого изображения. У нас есть ширина и высота, Positive Prompt с описанием желаемого и Negative Prompt с описанием нежелательного. Кроме того, я добавил блок для включения и выключения Prompt Enhancer — того самого модуля, который будет детализировать описание.

Model Loaders. В этом модуле нет ничего, настраиваемого пользователем. Здесь нам просто надо загрузить модели, которые будут использоваться для генерации.

Prompt Enhancer — тот самый новый модуль детализации описания. Главный блок здесь — Generate Text. На вход мы подаём наш Positive Prompt и System Prompt, который так же на естественном языке объясняет генератору текста правила, по которым надо преобразовать текст. Правила я честно спёр у разработчиков MOSS Image, потому что я детализирую описание именно для него. Ещё у Generate Text есть параметры, значения которых я тоже спёр из того же источника. Впрочем, seed мы можем свободно менять, чтобы получать разные версии генерируемого текста. Ну и для нашего удобства я вставил Preview as Text (Enhanced Prompt), чтобы видеть то, что нам нагенерировала языковая модель, подсоединённая к входу clip блока Generate Text. Исходный Positive Prompt и его улучшенная версия подаются на переключатель Use Prompt Enhancer, после чего выбранный текст превращается языковой моделью в тип conditioning для передачи генератору изображений.

И наконец, Image Generator — то, для чего затевался весь этот цирк. На вход KSampler мы передаём наши Prompt в уже подготовленном формате conditioning, диффузионную модель и пустое изображение нужного нам размера. KSampler генерирует результат. Этот результат создаётся в хитро закодированном математическом формате latent, который потом надо декодировать блоком VAE Decode в обычное RGB-изображение и сохранить на диск. Выбирая seed у KSampler, будем получать разные версии изображения, пока не наткнёмся на ту, которая нам понравится.

Именно эта гибкость, позволяющая создавать такие workflow, теперь походу станет для меня незаменимой. Если сравнить с большинством того, что доступно онлайн...