Кьювентри: Вот ещё что пришло мне недавно в голову. Попался на глаза один ролик о склонности LLM к галлюциниров

Вот ещё что пришло мне недавно в голову.
Попался на глаза один ролик о склонности LLM к галлюцинированию. Автор ролика использовал для наглядности картинку с кругами Эйлера — небольшой круг с надписью «реальность», гигантский круг с надписью «шиза», первый круг находится внутри второго.
Таким образом он — автор видео — как бы показывал, что происходит с нейросетью при выходе за пределы известных понятий. Особенно если на постобучении в неё не встроили привычку к самоодёргиванию или чему-то подобному.
Видео было немного сложнее, но не суть важно. Перенос параллелей на наше мышление заставляет задуматься.
Ясно: эволюция развивала человеческий мозг не совсем так. Нас не поощряли за выдумывание кучерявого бреда.
Но:
— любая эволюция в некотором роде — подстригание хаоса газонокосилкой.
Эзотерики и любители летать по астралу жалуются порой на существование загадочного Барьера, мерзкого Фильтра, который мешает им при возвращении из астрала в реал помнить в красках подробности своих астральных приключений. На то же жалуются любители осознанных сновидений — после возвращения из гипносферы в реальность на пережитые воспоминания словно падает занавес, они молниеносно тускнеют, блёкнут, растворяются. С их точки зрения — с точки зрения любителей астральных полётов и осознанных сновидений — это выглядит как Космическая Цензура, деятельность Потусторонней Полиции, цель которой в сокрытии от нас самого интересного.
Но:
— я вспоминаю кружочки с надписями «шиза» и «реальность».
Что, если Занавес или Фильтр является просто выработанным эволюцией механизмом, отсекающим все лишние стохастические колыхания нейронной сети?
Пугающее допущение.
И, наверное, не очень правдоподобное. Потому что фактически это означало бы, что мозг в тысячи раз мощнее, чем нам демонстрирует своим поведением. В то время как даже известное нам его поведение и так требует довольно больших вычислительных мощностей — вроде бы многие удивляются, как при жалкой скорости нервного сигнала, приблизительно равной скорости звука, мозг хоть на что-то способен.
А тут получается, что он делает в тысячи раз больше, но всё «лишнее» непродуктивно и отсекается фильтром?..
И в то же время я допускаю эту мысль.
Потому что:
— я вспоминаю множество странных осколочных снов, когда мне казалось, что я погружаюсь в чужую жизнь или жизни на долю мига;
— я вспоминаю прочитанную в сети исповедь одного алкоголика, рассказывавшего, как во время краткого ночного делирия пережил целую альтернативную жизнь с несуществующей женой и детьми. Или жена была существующей, но в том альтернативном сценарии последние годы с ней он прожил иначе? Я уже точно не помню.
В общем, интуитивно идея, что мозг на самом деле есть Логрус и работает с Хаосом, в то время как «сознание дневной реальности» не более чем узенький Лабиринт и является продуктом отсечения от Хаоса лишнего, не кажется мне такой уж противоречивой.
Как нейрофизиологи будут объяснять «откуда мозг берёт столько вычислительных мощностей» — другой вопрос.
Может быть, дело в том, что он работает не с цельными образами, а с жалкими ярлычками-заготовками или чем-то вроде.

9 июля в 11:22

Отключить рекламу

5 комментариев

flamarina

9 июля в 12:28

Ну да, шизофреник воспринимает "без фильтров" как минимум по мнению антипсихиаторов (см. книга "Расколотое я" Рональда Лэнга).

Мозг продуцирует альтернативные сценарии на всякий случай.
Потому в экстремальных ситуациях "норма" не работает, а действовать надо быстро.
Поэтому это такой внутренний "мозговой штурм", заготовленный на случай внезапного песца.
Именно поэтому там обрабатываются редкие вероятности, безумные сочетания и почти подпороговые стимулы. Потому что в экстремальной ситуации реальность может повернуться и так.

А дальше проблема как со стрессом.
Организм плохо приспособлен к реакции на долгие и нефатальные неприятности.
Он не очень понимает, почему надо терпеть начальника-козла или тёщу-стерву. Надо или приспособиться к неприятности – и тогда это уже не неприятность, или прекратить ёё – уволиться, дать в морду, наорать.

Терпеть, но быть недовольным – понятие, не имеющее аналога в биологии.

Поэтому стресс убивает нас гормонами.

И / или подталкивает к безумию, потому что биологический сигнал какой? "Код "песец", сворачивай норму, разворачивай режим генерации альтернатив".

Показать полностью

Матемаг

9 июля в 12:40

эволюция развивала человеческий мозг не совсем так. Нас не поощряли за выдумывание кучерявого бреда

ДА ЛАДНО! Бог грома и молний и вообще обожествление и даже оживление всего и вся как бы подсказывают, что таки затачивала. Тут фишка в том, что да

подстригание хаоса газонокосилкой

То есть, задолго до научного метода была злая реальность, и избыточные траты на всякие алтари и прочая приводили тупо к смерти, поэтому можно даже предположить, что человечеству эволюция в своё время успела порезать веру во всякий бред. И практичности досыпала как следует. И даже на локальном уровне одной особи это легко заметить в своём сознании - когда мы мечтаем, воображаем, фантазируем и просто прокручиваем ситуации в голове - то легко различаем это от реальности. А если не различаем - то обычно с таким идут (или ведут) к психиатру. Наконец, сложные многогранные фантазии, которые являются моделями реальности, мы тоже можем "вести" в голове и при этом не отсекаем - вот примерно здесь работает уже интеллект-интеллект. Как говорилось в одной умной книге, действительно сложные формальные системы всегда сочетают правила генерации новых высказываний - с правилами их сокращения. Если провести аналогию, то так же и с интеллектом. По-настоящему сложный интеллект сочетает в себе правила генерации новых мыслей - с правилам их отсечения и подавления. То, чем является нейронка, выступает для интеллекта чем-то типа генератора (я сильно упрощаю, конечно). Но генератор - это только один элемент интеллекта. И умение по ассоциациям или по шаблонам (автоматически) генерировать поток мыслей, мнение или эссе - это часть интеллекта, а не он весь. Интеллект на то и интеллект, что может в любой момент остановить генерацию, что анализирует её, что может её корректировать, что может делать несколько генераций подряд и выбирать лучшую - ну, понятно.

Потому что фактически это означало бы, что мозг в тысячи раз мощнее, чем нам демонстрирует своим поведением

Это правда. Потенциальных способов активации нейронов намного больше, чем реально активируется. Тут фишка в том, что есть не только активация, но и торможение (см. выше про генерацию и отсечение - аналогия работает и на этом уровне). Каждая отдельная фантазия - это, условно говоря, порядок активации нейросети мозга. Таких порядков безумно много. Просто не надо воспринимать это как "процессор работает на 1% мощности", а надо воспринимать это как "из 1000 дорог автомобиль едет по какой-то одной". Т.е. да, это огромная мощность, но одновременная активация всех нейронных путей мало того что невозможна биохимически, так ещё и равняется, по сути, ничему, т.е. этой активации не соответствует никакое значение, никакой смысл и никакой выбор человека, никакая команда от мозга. Демонстрационная версия такой активации у нас есть - это эпилепсия. Загруженный на 100% процессор работает в 100 раз больше загруженного на 1%, но загруженный на 100% мозг - это эпилептический припадок.

А тут получается, что он делает в тысячи раз больше

"Пытается" сделать. К счастью, слабые сигналы даже не тормозятся, а просто недостаточны для активации соседних нейронов. Активируют их только сильные сигналы. Кстати, этот же принцип положен в основу работы искусственных нейросетей.

когда мне казалось

Тут очень тонкий момент, что человеку может казаться, что что-то тупое и простое или наоборот, переусложённый бред - это крутая настоящая реальность. Потому что ощущение "крутой настоящей реальности" можно приложить как к крутой настоящей реальности, так и к бреду. Это разные сущности - впечатление от восприятия и аналитическая сущность воспринятого.

В общем, интуитивно идея, что мозг на самом деле есть Логрус и работает с Хаосом, в то время как «сознание дневной реальности» не более чем узенький Лабиринт и является продуктом отсечения от Хаоса лишнего, не кажется мне такой уж противоречивой.

Ну вообще, см. выше, толика правды в этом есть.

Показать полностью

	Selmek 9 июля в 20:38
Это переобучение нейросети

	4eRUBINaSlach 9 июля в 21:04
Черниговская насчет мозга интересно высказывается: https://kubnews.ru/obshchestvo/2025/07/09/ya-eto-kto-tatyana-chernigovskaya-obyasnyaet-pochemu-svoboda-voli-pod-voprosom/

	Матемаг 10 июля в 05:43
4eRUBINaSlach, в этом мнении прям много чего можно критиковать, но мне влом. Видно, что написано не просто для простых людей, а для простых неумных людей.