(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210843970.2 (22)申请日 2022.07.18 (71)申请人 湖州师范学院 地址 313000 浙江省湖州市吴兴区二环东 路759号 (72)发明人 楼俊钢　覃荣臻　申情　王洪波　 (74)专利代理 机构 杭州中利知识产权代理事务 所(普通合伙) 33301 专利代理师 李妮 (51)Int.Cl. G06F 16/9535(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 30/02(2012.01) (54)发明名称 一种支持多种细粒度兴趣提取的深度点击 率预估方法 (57)摘要 本发明提出了一种支持多种细粒度兴趣提 取的深度点击率预估方法， 包括以下步骤： S1.采 用深度兴趣网络中的局部兴趣激活层对用户的 局部兴趣表示进行学习； S2.在总体兴趣提取层 中， 使用多个非线性全 连接层拓展用户的表达空 间并融入到用户行为序列中， 再使用键值对注意 力机制学得用户总体的兴趣表示； S3.使用多核 卷积层自适应地将长序列划分为 短期行为序列， 并对子序列进行建模； S4.使用多头自注意力层 对用户、 物品侧以及上下文特征进行建模， 以隐 式形式引入特征间的二阶交互信息； S5.使用多 层感知机对 各步骤学习的特征进行结果预测， 输 出用户对候选物品的点击概率。 该方法解决了注 意力机制下局部兴趣在决策中过度主导等问题， 具备更佳的个性 化学习能力。 权利要求书2页 说明书10页 附图2页 CN 115309981 A 2022.11.08 CN 115309981 A 1.一种支持多种细粒度兴趣提取的深度点击率预估方法， 其特 征在于： 包括以下步骤： S1.采用深度兴趣网络中的局部兴趣激活层对用户的局部兴趣表示进行 学习； S2.在总体兴趣提取层中， 使用多个非线性全连接层拓展用户的表达空间， 并将其融入 到用户行为序列中， 然后使用键值对注意力机制学 得用户总体的兴趣表示； S3.使用多核卷积层自适应地将长序列划分为短期行为序列， 并对这些子序列进行建 模； S4.使用多头自注意力层对用户、 物品侧以及上下文特征进行建模， 以隐式形式引入特 征间的二阶交 互信息； S5.使用多层感知机对步骤S1至步骤S4所学习的特征进行结果预测， 输出用户对候选 物品的点击概 率。 2.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法， 其特征 在于： 步骤S1中， 在局部兴趣激活层中， 候选物品的嵌入向量以vi表示， 用户历史行为序列B ＝[i1， i2， ...， imaxlen]经过嵌入层转化为稠密矩阵VB＝[vi， 1， vi， 1， ...， vi， maxlen]， 其中， maxlen指 定的用户行为序列最大长度， vi， 1为用户历史点击中第一个物品的嵌入表 示， 以此 类推， 使用vi作为注意力机制的询问项， 矩阵VB为注意力机制的键与值矩阵， 通过局部兴趣 激活层为每个历史物品计算出注意力得分， 最后以注意力得分为权重将所有历史物品向量 进行加权求和得 出用户的局部兴趣表示向量vlocal。 3.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法， 其特征 在于： 步骤S2具体包括以下步骤： S21.在总体兴趣提取层中， 首先使用ReLU非线性激活函数对用户表示的嵌入表示进行 扩展， 扩展后的向量维度与物品的向量维度一 致； S22.将经过扩展表示的用户表示vu与用户历史行为序列中每个物品表示向量进行拼接 操作， 以加入用户识别 信息； S23.经过两层全连接层的分线性 转化， 最后一层输出权 重向量vw， 其长度为maxlen； S24.最后， 将拼接矩阵中所有物品向量按照softmax(vw)中对应的值进行加权求和得到 用户总体兴趣表示voverall。 4.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法， 其特征 在于： 步骤S3中， 建模的方法为： 卷积核由上至下进行滑动， 同时窗口中的元素与对应的卷 积核参数相乘并相加得到新特征向量vmap＝[e1， e2， ...， emaxlen]， 每一个卷积核经过窗口滑 动会得到一个对应的特征向量， 最后这些特征向量经过池化层合并为多核 卷积层的最终输 出vconvs。 5.如权利要求1至4中任意一项所述的一种支持多种细粒度兴趣提取的深度点击率预 估方法， 其特 征在于： 步骤S4具体包括如下步骤： 上下文特征的嵌入向量、 物品特征的嵌入向量以及经过两层非线性变换的用户侧特征 被拼接为矩阵 其中， m为输入部分特征的数量， d为所设置的嵌入 维度； 接着， 矩阵 A中的每一个值ai， j经由层标准 化作如下转换： 权　利　要　求　书 1/2 页 2 CN 115309981 A 2其 中 i ∈ [ 1 ， m ] ， j ∈ [ 1 ， d ] ， ai ，j表 示 矩 阵 A 中 第 i 行 第 j 列 个 元 素 ， ∈为1E‑15； 层标准化对矩阵A每一行的转换如下： 其中， gi和bi均为可学习参数； 层标准化的输出为矩阵 在多头自注意力层中， 特征矩阵 被三个参数矩阵转换为 三个新的特 征矩阵： 其中参数矩阵 在多头自注意力层中， 特征矩阵Q、 K和 V依据第二维度分别被划分为h个子矩阵， 随后在对应的子矩阵之间作点积自注意力计算， 即： 其中i∈[1， h]为Q、 K和V矩阵相对应第i个子矩阵； 将所有head计算结果按照第二维度 拼接作为多 头自注意力的输出： mhto＝c oncat(head1， head2， ...， headh)WO， 其中 为参数矩阵； 最后， 经线性变换的输出与 原始输入作 残差连接， 得到多头自注 意力层的最 终 输出vmth。 6.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法， 其特征 在于： 步骤S 5中， 经过局部 兴趣激活层、 总体 兴趣提取层、 多核 卷积层、 多头自注 意力层提取 到的特征向量， 在全连接层拼接起来作为全连接层的输入； 在全连接层的每一层数据将经 过如下变换： xl+1＝f(Wlxl+bl)    (5) 其中， Wl为第l层的参数矩阵， f为激活函数， 选用ReLU激活函数以提供 非线性学习能力， 在全连接层的最后一层 使用Sigmoid函数作为激活函数， 其输出的结果在0和1之间， 表 示模 型推测的用户点击当前候选物品的概 率。权　利　要　求　书 2/2 页 3 CN 115309981 A 3