ReFeRy: #информационные_технологии #нейросети Вопрос знатокам. Можно ли сейчас организовать так, чтобы на

#информационные_технологии #нейросети

Вопрос знатокам. Можно ли сейчас организовать так, чтобы на сайте было поле ввода или целый диалог с нейросеткой, которая знала бы, что любой вопрос в этом диалоге задан в контексте конкретной книги, текст книги я ей предоставлю.

То есть, примерно я это вижу как: на сервер ставится ПО нейросети, обученной для ответов на вопросы по тексту, рядом лежат файлы канонов, каждый запрос с сайта дополняется дополнительными условиями, типа "вопрос по содержимому файла xxx.txt".

Можно было бы в энциклопедиях фандомов сделать дополнительный, несомненно полезный сервис.

"Сколько лет было Джинни Уизли, когда Гарри сдавал СОВ?"
"На чем и за сколько можно добраться от Корусанта до Набу?"
"Кто старше, Саурон или Гендальф?"
"Называла ли профессор МакГонагалл когда-нибудь Драко Малфоя не по фамилии?"

4 июля в 21:57

Отключить рекламу

10 комментариев

ReznoVV

4 июля в 22:13

Точно могу сказать только про возможность локального решения такой задачи. То есть у вас есть вычислительных сервер, на котором локально стоит LLM, дообученная на профильных данных, которая выполняет соответствующие запросы. Мы что-то похожее (только в контексте численного моделирования, а не литературы) реализовывали на кластере из 24 Xeon E5-2696 V4, сцеплённых инфинибендами, и NVIDIA Quadro RTX A6000. Сильно подозреваю, в описанном случае можно обойтись на порядок менее производительными решениями, особенно в процессорной части.

Как там обстоят дела с интеграцией сторонних нейросетей через API, не в курсе.

	Дoлoxов Онлайн 4 июля в 22:23
ReznoVV К вышесказанному могу добавить, что DeepSeek вполне себе ставится на локальный сервер (файл около 20 гб весит). Вот только возможности его по сравнению с оригиналом, конечно, не ахти 1

Рони Онлайн

4 июля в 22:44

Эм, дело-то хорошее, но у нас очень много многотомных и многосерийных канонов. Она сможет "съесть" материалы по всем? Или это будет касаться только ряда избранных канонов?

Нейросетки даже очень хорошие, пока периодически подглючивают на точных фактах или цитатах.
Они из малюсенького рассказа иногда не способны извлечь правдивые данные, хотя в плане обсуждения более общих/абстрактных величин показывают себя очень хорошо.

	Jinger Beer Онлайн 4 июля в 23:48
Я слышал, есть такая нейросеть, которая просто анализирует текст и выдаёт из него только то, что там написано на вопросы. Не генерирует, а просто разыскивает информацию по тексту.

ReznoVV

вчера в 00:10

Ответ, что называется, лежит на поверхности.

https://openai.com/api/

Запросы через API OpenAI можно дополнять любыми своими промтами (просто в виде "дописывания" запросов пользователя произвольным текстом) простеньким JS-скриптом. $0.5 за миллион токенов на ввод-вывод. С учётом того, что один запрос "стоит" не меньше десятка токенов, а с пользователей вы денег брать не будете, то...

Ну, или локальную LLM ставить. Только не на тот же сервер, на которым сам фанфикс крутится, само собой.

ar neamhni

вчера в 00:52

Так в том-то и дело, что они подглючивают на точных фактах (а именно - выдумывают их со всей своей безудержной фантазией). Подозреваю, что любая сеть на основе чат-бота будет так делать в силу специфики работы чат-ботов. А сеть, которая ищет инфу и выдает по запросу пользователя точные факты (пусть не всегда точные, но во всяком случае имеющие первоисточник), называется гугл.

Jinger Beer Онлайн

вчера в 01:06

ar neamhni
Я тоже так думал, что это типа гугла. Ну, это как раз все равно специализированная нейросеть, в которую загружаешь конкретную информацию. Например, все тома Гарри Поттера. Она их проиндексирует, а потом ты сможешь задавать в свободной форме вопросы, касающиеся Гарри Поттера. И работает это на локальной машине без инета, если надо.
Больше ничего я про эту сеть не знаю, даже название. Знаю только, что штука платная и ее любят студенты, которые пишут дипломы.

Dillaria

вчера в 01:30

Знаю из маркетинговых презентаций то, как делают в моей компании. Разворачивают на серверах заказчика нейросеть партнера и вместе с каждым запросом пользователя по апи передают дополнительно промт и скрытые атрибуты из карточки документа.

Говорят, что это обеспечивает приемлемую точность.

	ReFeRy вчера в 04:18
Всем спасибо. Подождём дальнейшего развития. Пока я всё равно этим заняться не смогу. Но хотя бы придумал, как оно могло бы быть использовано вообще.

	Торговец твилечками Онлайн вчера в 10:12
character.ai Нейросеть ведёт диалог в контексте какого-либо персонажа. То есть можно. Но точность информации здесь априори не гарантируется. Не знаю, насколько вообще возможны точные АИ.