9月22日，工商银行一项正申请专利的发明“面向金融领域的大语言模型推理方法和装置”公布。其申请于2026年6月12日，涉及金融科技领域。

方法包括：通过目标模型接收输入的金融提示词，对金融提示词进行编码处理，得到金融提示词对应的目标词元向量序列；依据预先存储的金融文档聚类中心向量集合和金融文档词元残差向量集合生成金融知识库中每个金融文档对应的词元向量序列；依据金融提示词对应的目标词元向量序列和每个金融文档对应的词元向量序列，确定目标金融文档，通过大语言模型依据金融提示词和目标金融文档进行推理，得到金融推理结果。

其解决了相关技术中采用全量句子向量检索的方式实现大语言模型的推理，存在模型的推理效率较低的问题。

该发明的背景为，在金融领域文本处理中，通常采用句子向量编码对金融文档进行表征，检索时，需要加载全部金融文档向量，由于句子向量包含完整句法结构，其维度较高，在文档规模较大时，存储开销显著，且相似度计算需遍历全量向量，带来较高的内存带宽压力与延迟，使得大语言模型在检索增强生成时，检索效率较低，导致推理效率较低。

针对相关技术中采用全量句子向量检索的方式实现大语言模型的推理，存在模型的推理效率较低的问题，目前尚未提出有效的解决方案。

说明书中对该面向金融领域的大语言模型推理方法进行了更具体的介绍，此处不再展开。据悉，通过这些过程，提高了文档检索的效率，从而提高了大语言模型的推理效率。