(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210968175.6 (22)申请日 2022.08.12 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 马钰　刘致宁　庄晨熠　谭译泽　 董羿　钟文亮　顾进杰　郎雨泽　 卢星宇　马文琪　曾晓东　张冠男　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06Q 30/02(2012.01) G06N 20/00(2019.01) G06K 9/62(2022.01) (54)发明名称 一种模型训练中的注 意力图的生 成方法、 装 置以及设备 (57)摘要 本说明书实施例公开了一种模型训练中的 注意力图的生成方法、 装置以及设备。 通过获取 所述事件序列所对应的特征矩阵； 确定所述事件 序列中所包含的第i个事件所对应的第一时间向 量x， 确定 所述事件序列中所包含的第j个事件所 对应的第二时间向量x ’； 根据预设的时态内核、 所述第一时间向量x和所述第二时间向量x ’确定 时间注意力权重矩阵kt； 采用预设的事件内核确 定所述事件键矩阵Ke和事件查询矩阵Qe所对应 的事件注 意力权重矩阵ke； 融合所述时间注意力 权重矩阵kt和所述事件注意力权重矩阵ke生成 总注意力权重矩阵； 根据所述总注 意力权重矩阵 和所述事件值矩阵Ve生成注意力图， 从而体 现出 各事件的绝对时间和相对时间在相关性上的贡 献。 权利要求书2页 说明书11页 附图3页 CN 115392957 A 2022.11.25 CN 115392957 A 1.一种模型训练中的注意力图的生成方法， 应用于非平稳性时间事件序列， 所述方法 包括： 获取所述事件序列所对应的特征矩阵， 所述特征矩阵包括事件键矩阵Ke、 事件查询矩 阵Qe和事 件值矩阵Ve； 确定所述事件序列中所包含的第i个事件所对应的第一时间向量x， 以及， 确定所述事 件序列中所包 含的第j个事 件所对应的第二时间向量x ’； 根据预设的时态内核、 所述第一时间向量x和所述第二时间向量x ’确定时间注意力权 重矩阵kt， 其中， 所述时态内核中包 含与输入的x和x ’相关的可训练参数； 采用预设的事件内核确定所述事件键矩阵Ke和事件查询矩阵Qe所对应的事件注意力 权重矩阵ke； 融合所述时间注意力权重矩阵kt和所述事件注意力权重矩阵ke生成总注意力权重矩 阵； 根据所述总注意力权重矩阵和所述事件值矩阵Ve生成所述第一事件和所述第二事件 间的注意力图。 2.如权利要求1所述的方法， 其中， 所述时态内核中包含与输入的x和x ’相关的可训练 参数， 包括： 所述时态内核中包 含第一子内核、 第二子内核和第三子内核； 所述第一子内核中包含可训练的权重参数αi(x)， 用于调整所述第一子内核中所包含 的第i个隐式分布的权 重； 所述第二子内核中包含可训练的长度参数li(x)， 用于表征两个输入x和x ’的全局与局 部相关性； 所述第三子内核中包含可训练的频率参数μi(x)， 用于表征事件之间的周期相关性和 其对绝对时间的依赖 。 3.如权利要求2所述的方法， 其中， 根据 预设的时态内核、 所述第一 时间向量x和所述第 二时间向量x ’确定时间注意力权 重矩阵kt， 包括： 将所述第一时间向量x和所述第二时间向量x ’作为所述第一子内核、 第二子内核和第 三子内核的输入参数， 分别确定所述第一子内核、 第二子内核和第三子内核的取值； 将所述第一子内核、 第二子内核和第三子内核的取值的乘积确定为第一乘积矩阵； 对所述第一乘积矩阵进行缩放， 生成缩放后的第一乘积矩阵； 隐藏所述缩放后的第一乘积矩阵中的部分值 生成时间注意力权 重矩阵kt。 4.如权利要求1所述的方法， 其中， 采用预设的事件内核确定所述事件键矩阵Ke和事件 查询矩阵Qe 所对应的事 件注意力权 重矩阵ke， 包括： 确定所述事件查询矩阵Qe中的第i行向量eqi， 以及， 确定所述事件键矩阵Ke中的第j行 向量ekj； 将所述第i行向量eqi与所述向量ekj的转置作为所述事件内核的输入参数， 生成第二乘 积矩阵； 对所述第二乘积矩阵进行缩放， 生成缩放后的第二乘积矩阵； 隐藏所述缩放后的第二乘积矩阵中的部分值 生成事件注意力权 重矩阵ke。 5.如权利要求1所述的方法， 其中， 融合所述 时间注意力 权重矩阵kt和所述事件注意力权　利　要　求　书 1/2 页 2 CN 115392957 A 2权重矩阵ke生成总注意力权 重矩阵， 包括： 将所述时间注意力权重矩阵kt和所述事件注意力权重矩阵ke的相同位置的值进行点 乘， 生成总注意力权 重矩阵。 6.如权利要求1所述的方法， 其中， 所述非平稳性 时间事件序列中的事件通过如下方式 预先生成： 获取包含振幅函数、 频率函数、 相位项和噪声项的三角周期信号， 其中， 所述相位项满 足随机分布， 所述噪声 项满足正态分布； 通过所述三角周期信号产生所述事 件序列中的事 件。 7.一种模型训练中的注意力图的生成装置， 应用于非平稳性时间事件序列， 所述装置 包括： 特征获取模块， 获取所述事件序列所对应的特征矩阵， 所述特征矩阵包括事件键矩阵 Ke、 事件查询矩阵Qe和事 件值矩阵Ve； 时间向量确定模块， 确定所述事件序列中所包含的第i个事件所对应的第一时间向量 x， 以及， 确定所述事 件序列中所包 含的第j个事 件所对应的第二时间向量x ’； 时间注意力 权重模块， 根据 预设的时态内核、 所述第 一时间向量x和所述第 二时间向量 x’确定时间注 意力权重矩阵kt， 其中， 所述时态内核中包含与输入的x和x ’相关的可训练参 数； 事件注意力权重模块， 采用预设的事件内核确定所述事件键矩阵Ke和事件查询矩阵Qe 所对应的事 件注意力权 重矩阵ke； 融合模块， 融合所述时间注意力权重矩阵kt和所述事件注意力权重矩阵ke生成总注意 力权重矩阵； 注意力图模块， 根据 所述总注意力 权重矩阵和所述事件值矩阵Ve生成所述第 一事件和 所述第二事 件间的注意力图。 8.一种电子设备， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所所述指令被所述至少一个 处理器执行， 以使所述至少一个处 理器能够执 行如权利要求1至 6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115392957 A 3