Как физик, я на всю эту техноересь движуху с повальным внедрением ИИ-алгоритмов в математику смотрю с известным скепсисом. Ещё в начале десятых, когда я заканчивал вуз и начинал работать с моделями верхней атмосферы, мне довелось поработать с одним именитым числовиком, который обожал использовать градиентный спуск для приближённого сведения дифференциальных уравнений к системам линейных алгебраических. Разумеется, для сравнительно скромной системы дифур второго порядка магнитогазодинамики получалась система из тысяч, а то и десятков тысяч линейных алгебраических уравнений.

Числовик успешно защитил докторскую, показав, что разработанный им метод на сколько-то точнее ранее использовавшегося, но все физики, когда-либо работавшие с ним, только плевались от его моделей. Потому что они представляли собой натуральные чёрные ящики, каждое промежуточное состояние которых между вводом начально-краевых условий и получением готового решения было абсолютно неинформативным. Да, в ряде случаев полученное численное решение получалось действительно отличным, но всякая возникшая расходимость или очевидная нефизичность решения (а такое у сыроватых моделей случалось сплошь и рядом) требовала внесения совершенно неочевидных изменений в процесс генерации, которых никто, кроме автора сего математического шедевра, произвести не мог.

Понятно, что в вашем посте речь про куда более совершенные генеративные нейросети, способные создавать проверяемые человеком решения. Правильно ли я понимаю, что впечатляющий (пусть и непонятный мне как непрофессионалу) пример с кривыми является успешной компиляцией проверяемого решения из огромного множества доступных методов и способов? То есть нейронка просто быстрее докопалась до правильной последовательности применения известных алгоритмов решения, чем это могла бы сделать группа исследователей-людей?

Приятно видеть, что тэг "астрономическое" захватывает ленту фанфикса, но IOAA – всё-таки олимпиада для школьников. Занимательно, что LLM может успешно решать "человеко-ориентированные" задачи, но гораздо важнее, как по мне, что она успешно решает заведомо человеко-нерешаемые задачи, в первую очередь, в больших данных. В той же астрономии обработка петабайт данных от "Хаббла", "Уэбба" или радиоинтерферометров с целью выборки редких явлений определённой природы из задачи для научного коллектива на ближайший год превратилась в задачу для локально развёрнутой LLM на пару дней. Да и то ключевым ограничением для скорости её решения будет ширина канала обмена данными с соответствующими базами. На мой взгляд, это куда как круче способности воспроизвести рассуждения одарённого школьника.

ReznoVV
Там не черный ящик, там математические выкладки, то, как бы это доказывал человек. Ну и скорее всего да, она перебрала весь тот пласт аксиоматики и прочей теории, на которой это всё базируется и именно с математической точки зрения уточнила эту границу, сдвинув её с 1,75L до 1,5L. Просто как и в вашем примере по работе с обработкой данных с астрономической техники для сетки это пара дней, а для людей год. Она могла прогнать 100 тыс. вариантов, а что будет если вот так и вот так. Выдвижение и проверка гипотез в этом случае просто ускорились, только и всего. Вероятно, научное сообщество само бы когда-нибудь до этого дошло. Я думаю такого рода акселерацию отлично иллюстрирует анекдот:

Человек подумал, а сетка уже прогнала сотни симуляций.

Такое тоже всё-равно впечатляет.

Теmр
Это на выходе. А "внутри" чёрный ящик как был чёрным, так и остался. Как LLM к этим выкладкам пришла-то? Прямым перебором всех возможных вариантов методов, каким-то внутренним алгоритмом отбора на основании анализа обучающих дата-сетов или ещё как? Снаружи оно не видно. Но проверяемость, конечно, у аналитических решений хорошая, это я понимаю.

Очень сильно сомневаюсь, что золотую корову Навье-Стокса в принципе можно решить аналитически, но если получится – это будет, конечно, прорыв. В прикладном смысле в первую очередь, те же горячие части турбореактивных двигателей с лопатками хитрых форм считать с аналитическим решением будет песней, а не мучением. Очень-очень интересно!

ReznoVV
Сейчас у сеток можно и помимо решения запросить цепочку рассуждений КАКИМ образом она пришла именно к такому решению. Но в целом да, это всё еще черный ящик. Но, если говорить и о человеческом мозге, он тоже как бы нифига не изи интепритируемый)

Китайская комната наступает.

Теmр
Я сомневаюсь, что цепочка рассуждений это именно то, "каким образом" нейросеть пришла к итогу. Насколько я понимаю, цепочка генерируется LLM примерно так же, как и ответ, а потом подаётся на вход, как дополнение к изначальному промпту. Но что там в промежутке происходит, нейросеть не осознает. В принципе, как и человек не понимает, как именно он приходит к какой-то мысли, хотя и может записать цепочку рассуждений и формализовать ее. Но потом.

То, что язык (а математика - это язык) сам по себе позволяет сделать очень много - это давно известный факт.

Можно сказать, наш разум - порождён языком. Т.е. рекурсивная последовательность - предки человека создали примитивный язык, применение которого позволило им научиться мыслить и создать более эффективные языки.

Да, системы автоматического доказательства теорем существуют, и довольно давно.

Преимущества компьютеров тут в том, что они могут запомнить все промежуточные леммы и теоремы - что человек сделать физически не может.

При этом совершенно нет необходимости использовать именно нейросеть - обычный переборный алгоритм вполне справляется.

ae_der
Теорема Геделя о неполноте. Устанавливает заметные ограничения на то "многое", что может сделать математика, записанная на символическом языке. Впрочем, хотя концептуально ограничения существенные, но на практике это, вроде бы, не очень заметно.

Заяц
Нет. Теорема Гёделя о неполноте повествует исключительно об арифметиках, причём достаточно сильных. Например, аксиоматика действительных чисел полная. И теорема Гёделя к ней неприменима. Ага.

Матемаг
А вторая теорема Геделя о неполноте?

Заяц
Что не так со второй теоремой? Хорошая теорема о классе аксиоматических систем под названием "формальные арифметики".
...я уж не говорю о том, что через всякие теории моделей можно выводить утверждения о непротиворечивости ВНЕ данной формальной системы - с помощью другой, например. Формальные системы часто ограничены, но мы не обязаны использовать саму систему для доказательства утверждений в ней, можно использовать другую или другие. Математика знает много гитик!

Матемаг
Ой-большое(всё).