C17H19NO3
Вы это точно знаете? Что она именно так работает? С пикселями? А если текст от нейросети? Тут что , буквы?

Pitaici
> Вы это точно знаете? Что она именно так работает? С пикселями?

Да. Это буквально в мануале к Stable Diffusion, например.

> А если текст от нейросети? Тут что , буквы?

Слова. Но принцип тот же: каждое последующее слово в цепочке отбирается из случайно генерируемого набора на основе сочетания большого количества статистических правил про предыдущие слова.

Всё-таки не целые слова, а токены - это местами целые слова, а местами элементы слов. Если я правильно понимаю, то для визуальных нейронок всё проще, потому что там токен - всегда пиксель, а не группа пикселей.

C17H19NO3
В любом случае, все основано на том, что есть в базе данных?

Pitaici

В нейросети нет "базы данных" в привычном понимании. Там набор "слоёв" — функций преобразования с весовыми коэффициентами, которые реализуют условия отбора при генерации.

Но если рассуждать абстрактно — то да, выдача нейросети основана на том, на чём её обучали.

C17H19NO3
Разве у нее нет доступа ко всему, что находится в интернете? Это же и есть «база даннных». Возможно, каждый гаджет, а значит и каждый пользователь, является источником информации для ИИ. «Слои» — это устройство программы. Но нужны же еще «входные данные», чтобы получить «выходные»?

Pitaici
У визуальной? Насколько я помню, нет. Текстовым могут прикручивать поиск в интернете (те же самые поисковые запросы с результатами первым страниц, которые самовбиваются внутрь нейронки как очередной запрос), но визуальным - емнип, нет. Может, с мультимодальными что-то эдакое и придумали, но это уже надстройка и совмещение нескольких нейронок в одну систему.

Матемаг
Я думала, что все основано на текстовом описании. По крайней мере у тех нейросетей, которые в открытом доступе, а не в разработке.

Pitaici
> Разве у нее нет доступа ко всему, что находится в интернете?

У генеративных графических — в общем случае нет.

> Но нужны же еще «входные данные», чтобы получить «выходные»?

Это называется "набор данных для обучения", который прогоняют через нейронку на этапе обучения. Он должен быть размечен (т.е. каждому фрагменту входных данных нужно сопоставить связанные с ним ключевые слова, которые потом можно будет использовать в промптах), поэтому просто "всё что находится в интернете" не годится.

Годятся специфические ресурсы типа доск (*booru), где сами пользователи при заливании картинок размечают их связанными тэгами, например.

Для чего-нибудь более узкотематического приходится собирать и размечать датасет самостоятельно.

А вот уже на этапе генерации с уже предобученной нейросеткой — "входными данными" выступает случайный шум, из которого (см. выше) пошагово отбирается подходящее.

> Я думала, что все основано на текстовом описании

Текстовое описание (промпт) — это, по сути, задание набора фильтров и граничных условий (того самого комплекса "слоёв"), которые будут использованы при генерации. Оно не связано напрямую с какими-то конечными фрагментами изображений.

C17H19NO3
Но не получается ли так, что все пользователи, использующие графические нейросети, как бы участвуют в ее обучении, отбирая понравившиеся результаты?

C17H19NO3
В итоги мы получим «ширпотреб», но шедевры — никогда.

Pitaici
> не получается ли так, что

Обычно нет, не получается — пользователи просто получают готовый результат. Хотя технически ничто не мешает на этапе обучения прибегать к человеческой оценке — на практике это потребует привлечения слишком многих "оценщиков" слишком надолго.

> В итоги мы получим «ширпотреб», но шедевры — никогда.

Это проблема не столько инструмента, сколько самого механизма массового потребления (упрощение и "омэйнстримивание" в современной масскультуре заметно и без нейросетей).

Но роботы, да, усугубляют чисто за счёт производительности (см. "эффект генеративной овсянки" и "эффект коллапса модели").

C17H19NO3
Матемаг
Спасибо за объяснения!