А также увидеть, насколько ответы LLM подвержены рандомизации. Разные часы на каждый новый запрос. Некоторые модели иногда выдают достаточно правильные часы, чтобы в следующую минуту выдать несусветную дичь.

Это всегда можно уменьшить или отключить. LLM детерминированы, а случайность задается через параметр "температуры". Хотя не все модели дают к нему прямой доступ.

Заяц
Да, разумеется, но верно замечено, что не все модели дают к нему прямой доступ, да и обычный юзер не разворачивает у себя, а пользуется моделями как они есть и не копается в температуре. Здесь - дефолтные настройки общедоступных моделей и то, как их юзает большинство потребителей. И если в дефолте ответы могут ранжироваться до полного бреда... ну ква.

Lost-in-TARDIS
Хааааа, обычный юзер ваще ничё нипонял🙃

Lost-in-TARDIS
Они просто спрашивают обычные модели, а не специально обученные для написания кода. Так что у моделей просто не хватает данных, для правильного кодинга. Никто их толком кодить не учил, так что, когда они выдают что-то рабочее - это уже чудо.

Синифаз Аграфский
А вот и нет, вы сильно заблуждаетесь, эти модели в том числе позиционируются как помощники в написании кода (и вообще всех вопросах на свете), бенчмаркаются по различным задачам в кодинге и продаются как способные заменить программиста и обучаются в том числе и для этих задач.
К примеру, представленная здесь Gemini 2.5 - то, что используется в продаваемом гуглом Gemini Code Assist.
С сайта open-ai про GPT5: https://openai.com/gpt-5/
На сайте грока пиарятся результатами с кодинг бенчмарков, с гита kimi-2 .
Все эти модели позиционируются и продаются как способные хорошо кодить.
Вы, это, хотя бы нейросетку спросили погуглили бы немного перед тем как писать.

Ничего неожиданного, в общем-то... Выполняют своё предназначение: имитировать человеческий ответ (на которых и обучались). Люди на аналогичный вопрос тоже выдадут что угодно: с разбросом от полного бреда до рабочего варианта. Получается, имитация выполнена на отлично!

У меня есть знакомый, который кодит с нейросеткой. Говорит за пару часов пишет то, на что раньше пару дней уходило.

Так что сайт забавный, но ни о чём.

Матемаг
Ну, их обучают, чтобы имитировать хороший человеческий ответ. У людей будут другие ошибки, надо сказать.

Asteroid
Ну, на основе одной точки отвергать продемонстрированные ошибки нейросеток как-то всрато. (вопрос в профессиональной области знакомого и предыдущей квалификации)
У меня есть свои точки из людей с нейросетками, несколько больше одной, где результат как раз негативный, а также начинают появляться исследования, где вайб кодинг выигрыша по времени опытным программистам как раз не дает.

Lost-in-TARDIS
Нет. Я на основе одной точки делаю вывод, что концепция доказана. Потому что одна точка вполне показывает, что оно работает. Если не все способны научиться правильно работать с сетками - это их проблемы.

Вайб-кодинг - это вообще в другую сторону же. Там чел к клавиатуре, по сути, не прикасается - всё пишет и правит сетка.

Скоро и по деньгам не будет давать. В смысле, слышал, цены поднимаются, а лимиты на число запросов уменьшаются... Кажется, кто-то начинает экономить:)

Asteroid
Одна точка со все ещё не конкретизированными условиями ничего не доказывает.
Так и гомеопатию можно доказать, а если не все способны научиться правильно её принимать - это их проблемы.

Asteroid
Да, надо сказать, я не поняла, какую концепцию вы доказываете-то? Я показываю, что нейросетки ошибаются и не нужно считать, что они всегда, молодцы, знают все и не ошибаются, что не нужно слепо их принимать на веру.
А какой у вас тезис?

Lost-in-TARDIS
Очевидно, что то, что нейросети сильно ускоряют работу. И их ошибки не особо мешают.
Как бы, человек и сам склонен ошибаться, и надо проводить тестирование. Нейросети ничего особо в этом плане не меняют. Да, они тоже ошибаются, но плюсы больше минусов.