9月25日，工商银行一项正申请专利的发明“大语言模型的训练方法、装置、设备和存储介质”公布。其申请于2026年5月29日，涉及人工智能技术领域。

其方法包括：将待训练领域的语料样本输入第一大语言模型，得到第一处理结果；基于第一处理结果和语料样本对应的样本标签，确定自回归损失项；将目标语料样本分别输入第一大语言模型和第二大语言模型，得到第二处理结果和第三处理结果；其中，第一大语言模型以第二大语言模型的参数为初始值，并在其领域专家池中添加待训练领域对应的领域专家网络后得到，第二大语言模型通过历史语料样本训练得到，目标语料样本从历史语料样本中得到；基于第二处理结果和第三处理结果，确定第一蒸馏损失项；基于自回归损失项和第一蒸馏损失项，训练第一大语言模型。

该发明的背景为，大语言模型是一类使用深度学习技术构建的、具有大量参数的自然语言处理模型。这类模型通过在大规模语料数据集上进行训练，能够理解和生成自然语言，从而执行多种语言任务，如文本生成、翻译和问答等。

然而，将其应用于特定垂直领域（如金融、法律、医疗）时，通常需要对大语言模型进行微调。但是，在模型调整过程中可能会导致模型遗忘其原有的通用知识，发生灾难性遗忘，从而降低模型的任务处理性能。因此，有待提出一种新的解决方案。

该发明在将大语言模型应用在特定领域进行训练的过程中，能够学习新的特征并降低模型发生灾难性遗忘的概率。