Точно могу сказать только про возможность локального решения такой задачи. То есть у вас есть вычислительных сервер, на котором локально стоит LLM, дообученная на профильных данных, которая выполняет соответствующие запросы. Мы что-то похожее (только в контексте численного моделирования, а не литературы) реализовывали на кластере из 24 Xeon E5-2696 V4, сцеплённых инфинибендами, и NVIDIA Quadro RTX A6000. Сильно подозреваю, в описанном случае можно обойтись на порядок менее производительными решениями, особенно в процессорной части.

Как там обстоят дела с интеграцией сторонних нейросетей через API, не в курсе.