Знаю из маркетинговых презентаций то, как делают в моей компании. Разворачивают на серверах заказчика нейросеть партнера и вместе с каждым запросом пользователя по апи передают дополнительно промт и скрытые атрибуты из карточки документа.

Говорят, что это обеспечивает приемлемую точность.