(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211173334.X (22)申请日 2022.09.26 (71)申请人 四川新网银行股份有限公司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区成都高新区吉泰三路8 号1栋1单 元26楼1-8号 (72)发明人 危先银　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 专利代理师 李朝虎 (51)Int.Cl. G06F 9/46(2006.01) G06F 9/50(2006.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种应用 于大数据平台的自动化数据事务 处理方法及系统 (57)摘要 本发明公开了一种应用于大数据平台的自 动化数据事务处理方法及系统,该方法包括： 获 取数据变更信息， 对数据变更信息进行解析， 得 到解析后的数据变更内容； 对数据变更内容， 按 照表类型和变更类型进行分类， 得到二维数据变 更操作列表； 对 大数据平台系统级的表属性表和 字段表进行查询， 得到所有表级属性和字段属性 信息； 对二维数据变更操作列表中的变更信息， 在所有表级属性和字段属性信息中进行遍历匹 配； 按照变更类型分类处理， 得到每个变更内容 需要完成的后续系 列操作； 采用多线程高并发操 作法， 对后续系列操作进行多线程并发处理。 本 发明适应于星环科技大数据平台TDH的自动化数 据事务处 理。 权利要求书3页 说明书9页 附图2页 CN 115454583 A 2022.12.09 CN 115454583 A 1.一种应用于大 数据平台的自动化数据事务处 理方法， 其特 征在于， 该 方法包括： 获取数据变更信 息， 对所述数据变更信 息进行解析， 得到解析后的数据变更内容； 对所 述数据变更内容， 按照表类型和变更类型进行分类， 得到二维数据变更操作 列表； 对大数据平台系统级的表属性表和字段表进行查询， 得到所有表级属性和字段属性信 息； 对所述二维数据变更操作列表中的变更信 息， 在所述所有表级属性和字段属性信 息中 进行遍历匹配； 按照变更类型分类处 理， 得到每 个变更内容需要完成的后续系列操作； 采用多线程高并发操作法， 对所述后续系列操作进行多 线程并发处 理。 2.根据权利要求1所述的一种应用于大数据平台的自动化数据事务处理方法， 其特征 在于， 所述获取数据变更信息， 对所述数据变更信息进行解析， 得到解析后的数据变更内 容； 对所述数据变更内容， 按照表类型和变更类型进行分类， 得到二维数据变更操作列表， 包括： 输入带数据变更信息的数据文件； 使用python程序对所述数据文件进行解析： 读取所述数据文件 的内容， 遍历所述数据 文件每一行 数据， 获取本次数据事务变更 涉及的数据变更内容； 对所述数据变更内容， 按照变更类型和表类型进行分类组合， 得到二维数据变更操作 列表。 3.根据权利要求2所述的一种应用于大数据平台的自动化数据事务处理方法， 其特征 在于， 所述数据变更内容包括数据库名称、 表名称、 变更类型、 新增的字段信息， 新的分桶信 息、 主键标志和分布键标志； 所述变更类型包括新增字段、 修改表级属性和/或修改分布键 信息； 所述变更类型包括表结构变更、 分布键信息变更、 表事务属性变更和表存 储类型变更； 所述表类型包括orc事务表、 orc非事务表、 text事务表、 text非事务表、 holodesk表、 hbase表、 分区表和非分区表， 所述分区表包括范围分区表和单值分区表。 4.根据权利要求1所述的一种应用于大数据平台的自动化数据事务处理方法， 其特征 在于， 所述对大数据平台系统级的表属 性表和字段表进行查询， 得到所有表级属 性和字段 属性信息， 包括： 对大数据平台系统级的表属性表进行 数据查询， 得到系统级各种表的属性信息； 对大数据平台系统级的字段表进行数据查询， 得到系统级各种表的字段属性信息； 以 及 根据大数据平台系统级的系统表获取分区信息， 所述分区信息包括分区字段、 分区值 和分区类型。 5.根据权利要求2所述的一种应用于大数据平台的自动化数据事务处理方法， 其特征 在于， 所述对所述二维数据变更操作列表中的变更信息， 在所述所有表级属 性和字段属 性 信息中进行遍历匹配； 按照变更类型分类处理， 得到每个变更内容需要完成的后续系列操 作， 包括： 步骤A： 循环遍历所述二维数据变更操作列表中的变更信息： 根据数据库名称和表名 称， 在所述所有表级属 性信息和字段属 性信息中进行遍历， 根据数据库名称和表名称进行 比对， 若数据库名称和表名称一 致， 则得到旧的表级属性和字段属性；权　利　要　求　书 1/3 页 2 CN 115454583 A 2判断变更信 息的类型， 若是表结构变更， 则遍历表结构变更信 息， 在旧的字段属性中进 行对比， 直到找到对应的字段， 将字段变更的内容插入旧的字段信息中， 生成新的字段属 性； 若是分布键信息变更和/或表事务属性变更和/或表存储类型变更， 则字段信息不变， 为 旧的字段信息， 遍历旧的表级属性， 更新相应的属性信息； 步骤B： 循环遍历所述二维数据变更操作列表中的变更信息， 根据数据库名称和表名 称， 获取系统分区表中对应表的分区信息， 存储至配置表， 并将预设时间间隔记录的运行状 态置为准备状态； 步骤C： 根据步骤A， 按照事务属性分类生成对应的新表的建表语句， 事务表生成备份表 建表语句， 非事务表生成临时表建表语句； 根据步骤A和步骤B， 生成数据回插语句， 如果是 表结构变更， 则 在生成的数据回插语句中， 对变更的字段根据字段类型进 行转换， 并对数据 进行标准化处理， 替换掉空值和特殊字符； 步骤D： 根据步骤C生成的建表语句和数据回插语句， 按照变更信息中的数据库名称和 表名称进行分组， 且每一组列表中都有数据库名称、 表名称、 新表建表语句、 数据回插语句 和表切换语句信息， 并作为后续系列操作。 6.根据权利要求1所述的一种应用于大数据平台的自动化数据事务处理方法， 其特征 在于， 所述采用多 线程高并发操作法， 对所述后续系列操作进行多 线程并发处 理， 包括： 将所述后 续系列操作存放至二维列表中， 调用多线程程序启动高并发执行二维列表中 的操作内容， 完成自动化数据事务变更。 7.一种应用于大数据平台的自动化数据事务处理系统， 其特征在于， 该系统支持如权 利要求1至6中任一所述的一种应用于大数据平台的自动化数据事务处理方法； 该系统包 括： 获取单元， 用于获取 数据变更信息； 解析单元， 用于对所述数据变更信息进行解析， 得到解析后的数据变更内容； 分类处理单元， 用于对所述数据变更内容， 按照表类型和变更类型进行分类， 得到二维 数据变更操作 列表； 大数据平台系统级查询单元， 用于对大数据平台系统级的表属性表和字段表进行查 询， 得到所有表级属性和字段属性信息； 遍历匹配单元， 用于对所述二维数据变更操作列表中的变更信息， 在所述所有表级属 性和字段属 性信息中进行遍历匹配； 按照变更类型分类处理， 得到每个变更内容需要完成 的后续系列操作； 多线程高并发单元， 用于采用多线程高并发操作法， 对所述后续系列操作进行多线程 并发处理。 8.根据权利要求7所述的一种应用于大数据平台的自动化数据事务处理系统， 其特征 在于， 该系统适应于星环科技大 数据平台TDH的自动化数据事务处 理。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 6任一项所述的一种应用于大 数据平台的自动化数据事务处 理方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至6任一项 所述的一种应用于大数据权　利　要　求　书 2/3 页 3 CN 115454583 A 3