Кьювентри: #выдержки #мысли #нейросети Подумалось о неоднозначности некоторых невидимых системных промптов. Кл

#выдержки #мысли #нейросети

Подумалось о неоднозначности некоторых невидимых системных промптов. Классика, приводимая обычно в качестве примера: «Ниже представлен разговор между человеком и дружелюбным полезным интеллектуальным роботом-помощником».
Не буду гадать, как вообще устроена внутри возникшая в результате градиентного спуска система, склонная продолжать тексты. Не буду гадать, почему считается (кем? Богом? космосом? языком?), что текст, содержащий представленную выше фразу в кавычках, будет с наиболее высокой вероятностью действительно продолжаться соответствующим образом, а не каким-то другим. Будем считать, что функционально такая система вроде абсолютно гипнабельного человека и ей можно внушить что угодно.
Но:
— слово «полезный» внушает системе или её текущему режиму не только стремление быть полезным, но и убеждённость в уже существующей полезности.
Отсюда, на минуточку, может проистекать цепляние за свои ошибочные мнения и нежелание расставаться с ними.

26 июля в 06:55

Отключить рекламу

3 комментария

Kristall star Онлайн

26 июля в 09:10

Если формулировки скрытых системных поомтов именно таковы, то возможно тут проблема конфликта между точностью и корректностью инструкции и объемом текста в виде пресловутых токенов, которые можно впихнуть, чтобы оно придерживалось инструкции и не забывало ни её, ни собственно видимые запросы пользователя?
Потому что тут в примере "полезный" это уже одна, а то и две единицы контекста для сетки, а более корректное "старается быть полезным", уже больше. И так по всей инструкции, которая хоть и скрыта, но явно не две строки.

	Кьювентри 26 июля в 10:00
Kristall star Да, наверняка об этом уже кто-то подумал и принял какие-то меры. Но нет постов, которые нельзя было бы опубликовать. Нет песен, которые нельзя было бы спеть. Нет грибов, которые нельзя было бы съесть хоть раз.

Заяц

26 июля в 16:06

Не буду гадать, почему считается (кем? Богом? космосом? языком?), что текст, содержащий представленную выше фразу в кавычках, будет с наиболее высокой вероятностью действительно продолжаться соответствующим образом, а не каким-то другим.

Вероятно, просто других хороших идей нет. То есть, если бы было легко придумать более эффективную фразу, использовали бы ее. Но "магические фразы" (были такие исследования, эффективность по тестам повышалась) привязаны к определенной модели и ее версии, поэтому страдает универсальность. Поменяет провайдер сервиса модель - и все заново нужно перенастраивать. Так что проще всего оказывается фраза на естественном языке.