А таки в чём проблема - нейрослоп лучше и авторы воют или нейрослоп ещё хуже и читатели воют?

а как они собираются доказывать, что конкретный нейрослоп является нейрослопом, если автор заявит, что нет?

MonkAlex

Воют (некоторые) авторы нейрослопа, "краткая выжимка" ключевых тезисов (Ц):
Аргументация тоже местами специфическая: от "детекторы нейросетей ненадёжны, потому что классиков начиная с Льва Толстого либо распознаёт как на 30% нейросеть, либо не распознаёт как прописанное игнорировать в базе данных" (это враньё, проверено экспериментально) до "мы просто используем нейросети для распознавания речи и вычитки шероховатостей, а оно само переписывает и улучшает текст от себя при транскрибировании" (тоже враньё, тоже проверено экспериментом).

ar neamhni
> как они собираются доказывать

https://yandex.ru/lab/neurodetector

Собственно движ пошёл после поста, описанного тут (исходник в блогах АТ, что характерно, снесли модераторы, но волну щитшторма это не остановило).

C17H19NO3
я как читатель с этим согласен, не стал бы читать явное ИИ хрючево. Имхо сложнее иногда понять действительно ли это ИИ, когда средний уровень на самом деле и так не был высоким.
Посмотрим, к чему придёт.

MonkAlex, таки второе. Как читатель говорю, необработанная нейронка -- это отстой. Иногда даже видно, что идея у автора была интересная, н-но... рубленые предложения по два-три слова с бесконечными "Это было не... Это было..." читать тошно. Больше двух-трех глав не выдерживала.
Ну а теперь их и открывать не будут.

И правильно, что метят такие произведения.
Метки уже сейчас появились, кстати.

Интересно, поглядим на результат...

ar neamhni
если верно понимаю, поддержка АТ собирается использовать какой-то свой АИ-детектор. Насколько можно опротестовать - хз. Пока практики ж не было

C17H19NO3
Провела несколько своих (и чужих для интереса) текстов через этот детектор, и он (за редким исключением) всегда видит нейронку. Изумительные ощущения испытываешь, когда он твой текст, написанный из головы рукой в тетрадочку аж 2018 году считает на 94 с лишним процента сетевым, а некоторые вообще на все сто. Сгенерировала в нейронке текст по своему саммари с минимальными уточнениями и ввела, ничего не меняя, так он обнаружил меньше 70 процентов от нейронки, провела этот эксперимент повторно, не меняя промт - 48%. Выходит, я больше искусственный интеллект, чем искусственный интеллект🤔

Joker F_A

А можно исходники, для независимо воспроизводимой проверки?

Потому что у меня, например, написанные "вручную" тексты стабильно ниже 5%, как свои так и чужие, как академические так и литературные.

из того, что я кидала, все правильно определял. Но был один чужой текст, с которым я сломала мозг. Я читала фанфик и видела, что стиль ну очень похож на ИИ, но при этом не ИИ. Ну вот не написала бы это нейронка. Вот это не написала бы, а стиль точно как у нее. При этом автора очень хвалили за чудесный слог, и хвалил человек, который хорошо разбирается в ИИ и до этого уже отказался комментировать явный ИИ фанфик. Я тогда решила, что, видимо, автор просто пишет так гладко, что у меня такое впечатление, и из-за гладкости же его и хвалят за слог. А сейчас закинула в детектор отрывок текста, и оно показывает 92%. Значит, все-таки ИИ? Но ИИ не так пишет... Или мб автор написал своими словами, а потом кинул в ИИ для глубокой редактуры...

ar neamhni
> Или мб автор написал своими словами, а потом кинул в ИИ для глубокой редактуры...

В тестах так не получается, просто глубокая редактура существенно вероятность нейросетевости не повышает. А вот если вместо редактуры в привычном понимании дать команду "переписать/пересказать своими словами" — вот тогда, да, распознаваемая нейросетевость растёт существенно выше случайной погрешности.

C17H19NO3
А если автор написал на другом языке и перевел через ИИ на русский, интересно, что будет? У того автора такое могло быть.

C17H19NO3
А вот у меня по-разному. Если я писала какую-то дичь/психоделику, то в итоге результат от 0 до 12 процентов, а если старалась вписаться в хоть в какие-то "нормы", то от 34 до 100. Например, последние фики про Розье у меня были написаны а лохматых годах (которые на микроскоп выложила), так детектор увидел в них только нейронку. Вроде и не должно задевать, я ж автор не коммерческий и не популярный, но мерзко как-то после сравнения, будто вывалилась в чём-то зловонном и липком(

ar neamhni

Насчёт машинного перевода пока нет "достаточно машинной" выборки для тестирования, но при заряжании текстов на других языках (английском и французском) пока вроде распознаёт надёжно даже без перевода.

Joker F_A
> Например, последние фики про Розье у меня были написаны а лохматых годах (которые на микроскоп выложила), так детектор увидел в них только нейронку.

Взял крайний фик с Микроскопа-6, загнал на проверку:



"Какая-то из черепашек врёт" (Ц)

C17H19NO3
Картинка не отображается

Joker F_A
> Картинка не отображается



Если текстом: вероятность нейросети — 0.46%. Детектор видит не нейронку, а живого автора.

C17H19NO3
Это второй текст - продолжение, а первый - 98% выдал. Писалось, понятное дело одновременно и в одинаковых условиях.

Joker F_A

Посмотрел предыдущий, присмотрелся внимательнее. Как бы так повежливее выразиться... там даже без каких-либо детекторов, уже прямо на глаз текст чересчур "нейросетевой", и если принять на слово, что всё писалось вручную много лет назад, то диагноз неутешителен. Всё равно текст был написан нейросетью, только развёрнута она была не на условном нитриде индия, а на белковом мясе.

C17H19NO3
Логика у вас, конечно, ровно такая же, как и у нейронки. Даже не оскорбишься толком😂

Joker F_A

Так я пляшу не от типа источника, а от качества контента. Раз текст не способен хотя бы превзойти по уровню выдачу нейросети, то он по праву заслуживает быть помеченным как продукт нейросети, даже если не.

C17H19NO3
Вот о том и речь: Л - логика.

Joker F_A
а что за текст-то? я запуталась в этих предыдущих)

ar neamhni
И свет померк
Вся фишка в том, что писала и этот, и его продолжение, как часть одной серии. Но один детектор окрестил нейрослопом, а другой, вроде как, по его мнению, норм.

Joker F_A
> Л - логика

Так-то если вдаваться в подробности, человеческий мозг — тоже иерархическая структура из кучи взаимосвязанных специализированных нейросетей (а сознание, по некоторым гипотезам, вообще их галлюцинация), поэтому любой человеческий текст чисто формально тоже "нейросетевой", пусть и есть нюансы.

И да, к использованию ЛЛМ как трансформеров и фильтров претензий нет, претензии начинаются при подмене контроля качества тупой генерацией. Ну так "литературные негры" как явление старше Римской Империи, например.

Joker F_A
> писала и этот, и его продолжение, как часть одной серии. Но один детектор окрестил нейрослопом, а другой, вроде как, по его мнению, норм

Кстати, сейчас провёл ещё один эксперимент: объединил оба фика в один последовательный текст и скормил его детектору целиком. Оценка просела с 97+% до 13.2%. Как говорится, почувствуйте прирост качества просто от добавления более внятно написанной части.

Пока из того, что вижу в популярных новинках на первой странице (https://author.today/work/genre/all?sorting=popular) - только Земляной упомянул про нейросетку

Аа, переиграли правила.

https://author.today/post/835722

C17H19NO3
Это, конечно, хорошо, даже замечательно. Но тогда возникает закономерный вопрос: Откуда столько негодования от ИИ-текстов? Не правильней ли в таком случае приравнивать всё некачественное чтиво к мусору? Вот только, кто будет заниматься градацией? По каким критериям? Чьё субъективное мнение станет эталоном. Нейросетевое, получается. А ИИ видит в тексте, написанном человеком, нейросеть. Т.е. всё, что написано с её точки зрения (которая, судя по всему, совпадает с вашей) так себе, она окрестит нейросетевой, чтобы что? Не у всех, хочу напомнить, такие же предпочтения, как у вас, например.

Может, дело-то в другом. Качество истории вторично, если писалось человеком. А читатель хочет видеть эти метки именно затем, чтобы выбирать из любых работ, написанных человеком, а не наштампованных машиной. И без того искать что-то достойное сложно, а с ИИ-текстами - почти нереально. Но выборку хочется иметь именно ту, которую тебе эта маркировка обещает. Без вот этого: "любой человеческий текст чисто формально тоже "нейросетевой'.

Joker F_A
> Откуда столько негодования от ИИ-текстов?

Нейросетью проще выполнять план-по-валу. Отсюда, конкретно в случае платных текстов, возникает вопрос вида "а кому и за чей труд я деньги плачу, по сути". Как раз штамповка, вот это всё, да.

Я-то вообще не негодую, а наоборот, распечатываю попкорн.

> Не правильней ли в таком случае приравнивать всё некачественное чтиво к мусору?

Так-то по уму правильнее, да. Но пипл хавает всякое (к вопросу о предпочтениях).

Обратно, если речь конкретно про Автор.тудей — там первичен вопрос не предпочтений, а денег (см. предыдущий пункт).

> Чьё субъективное мнение станет эталоном.

Вот конкретно на АТ — мнение проверяющих модераторов. Пока что они вроде как люди.

C17H19NO3
Так-то да, для коммерческих текстов всё относительно понятно. Но если модераторы люди, то тем более возникнут спорные моменты: мало ли, кто что видит. Но это уже проблема автор.тудей.

А насчёт детектора: недоработанный какой-то. По вашему примеру попробовала дробить большие тексты и объеденять главы мелких. Результаты всегда разнятся, причём скачут от нуля до ста. Полагаться на него при выборе чтива на вечер, пожалуй, не буду.

Вот один автор любит скидывать на нейросеть большие диалоги. И почти не редактирует. Экшен у него заметно чище и человечнее.
Так что...

Поскольку нейросети предсказуемо заняли нижний сегмент, не вижу проблем. Вообще никаких. Ни с существованием, ни с маркировкой, ни со всем противоположным. Тем более, как показано выше, имеет околонулевой смысл. Как маркировка обезьян. Надо что-то делать. Давайте прикрепим на каждую бирку с персональным номером. Отлично, работа ведëтся, и все при деле.

Это не логика, а откровенная глупость и отмахивание от вопросов по-существу. Раз прибор показал, что мёртв – значит в морг, и не важно, что пациент возражает. Что вообще может означать «превзойти нейросеть»? То что конкретно этому алкалоиду конкретно это произведение не нравится? Какова этому практическая ценность? Найдутся те, кто не заметит подвоха и ему понравится, … и ему не понравится… И пятые, и десятые.
Я вот думаю, когда нейросети научатся подбирать под вкус каждому, или генерировать. Вот тогда заживём. А пока ещё одна бессмысленная метка, как, ну… «секс в воде» с Фикбука. Но та говорит хотя бы о том, что там был секс.