1月5日,中信银行一项名为“一种基于通用大语言模型的金融数据查询方法及系统”的专利公布。其申请于2023年10月25日,涉及数据自动化处理及大数据处理技术领域。
摘要显示,将自然语言查询请求转换为对应数字向量后使用预设的识别模型转换为查询脚本执行查询请求,使用通用大语言模型为基础,实现可以理解中文需求的SQL脚本自动生成,自动完成脚本安全和数据安全校验,最终执行并将结果发送给需求提出人,能够将商业银行一线业务人员的用数需求文档直接导出SQL脚本并执行生成结果,减少了数据分析人员分析需求和编写SQL脚本的工作,在大幅减少人工工作量的同时也提升了业务人员用数效率。
方法包括:
S1、获取第一查询需求,将第一查询请求转换为第一数字向量并保存第一查询需求和第一数字向量;第一查询需求包括中文自然语言查询需求;
S2、使用预训练的第一识别模型将第一数字向量转换为第一查询脚本;第一识别模型为基于通用大语言模型训练所得识别模型;
S3、依据第一查询脚本对第一识别模型执行第一评估操作,并依据第一评估操作结果修正第一识别模型得到第二识别模型,使用第二识别模型将第一数字向量转换为第二查询脚本;
S4、判断第二查询脚本是否符合预设的脚本安全规则;
S5、当判断第二查询脚本符合预设的脚本安全规则时,执行第二查询脚本得到第一查询结果;
S6、依据第一查询结果对第二识别模型执行第二评估操作,并依据第二评估操作结果修正第二识别模型得到第三识别模型,使用第三识别模型将第一数字向量转换为第三查询脚本;
S7、判断第二查询脚本与第三查询脚本的相似度是否低于预设阈值,当判断第二查询脚本与第三查询脚本的相似度不低于预设阈值时,使用第一查询结果作为输出结果反馈;
S8、当判断第二查询脚本与第三查询脚本的相似度低于预设阈值时,执行第三查询脚本得到第二查询结果,并使用第二查询结果作为输出结果反馈。
其中,预训练的第一识别模型包括基于GPT架构语言生成模型的预训练识别模型。
第一评估操作包括使用强化学习模型匹配第一查询脚本的人工反馈评分加权评估第一识别模型。
脚本安全规则包括下列规则的任意一种或多种组合:特定关键词屏蔽;特定查询字段屏蔽;数据输出长度限制;查询执行时间限制。
第二评估操作包括依据第二查询脚本相较生产脚本的关键词修改数量评估第二识别模型。
另外,步骤S4还包括:当判断第二查询脚本不符合预设的脚本安全规则时,停止反馈第一查询需求并依据脚本安全规则输出提示信息。
说明书提到该发明的背景为,金融业务领域日常需要处理大量数据,并依据业务需求对应提取特定数据内容使用。对于商业银行的内部用数、取数工作,其主要需求包括:数据分析需求;数据管理需求;数据共享需求;数据可视化需求;实时数据处理需求;多维数据分析需求;智能数据分析需求。为了满足这些需求,商业银行需要建立完善的数据处理平台,包括数据采集、存储、处理、分析等方面,并采用先进的技术和工具,如大数据技术、数据挖掘技术、可视化技术等,以提高数据处理效率和质量,支持商业决策和竞争。
为实现上述功能需求,需要提供一种自然语言与数据查询语句之间的转换系统,例如将中文自然语言查询语句转化为SQL查询语句的中文转SQL脚本模型。但是,现有的中文转SQL脚本模型在实现中仍然存在以下技术问题:语义理解问题;语法转换问题;实体识别问题;关联关系识别问题;查询优化问题;多语种支持问题;可扩展性和鲁棒性问题。
由此可知,目前的中文转SQL脚本模型大多采用类似机器翻译的模式,例如使用bert预训练模型架构,是将中文词语逐个转换为SQL关键词或者表名、字段名,如果需要关联查询,无法自动生成复杂的关联、嵌套查询语句。而对于金融行业,特别是商业银行的具体应用领域,数据统计常常设计大跨度时间段和多表关联,不仅数据量大,计算方式也较复杂,因此传统的中文转SQL脚本模型在金融行业的日常工作中实用性不强。
对比传统的商业银行需求管理、数据分析和数据库查询系统分别独立的状态,使用该发明的方法能将以上三个板块统一起来,实现需求分析、脚本分析、安全审核等功能全程智能化、自动化完成,实现银行业务人员的7*24小时用数需求支持,可提升银行内部用数、取数的效率。
展开全文
- 移动支付网 | 2024/1/24 10:59:45
- 移动支付网 | 2024/1/15 9:56:35
- 移动支付网 | 2024/1/4 16:10:00
- 移动支付网 | 2024/1/4 14:56:37
- 移动支付网 | 2023/12/2 11:14:31
- 移动支付网 | 2023/10/26 9:38:17
- 移动支付网 | 2023/10/19 13:25:40
- 移动支付网 | 2023/9/27 12:02:40
- 移动支付网 | 2023/9/5 18:16:44
- 移动支付网 | 2023/9/5 10:04:16
- 移动支付网 | 2024/1/22 9:08:32
- 移动支付网 | 2024/1/19 11:35:20
- 移动支付网 | 2024/1/11 10:08:56
- 移动支付网 | 2024/1/5 11:45:27
- 移动支付网 | 2023/12/18 9:47:06