(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210604499.1 (22)申请日 2022.05.30 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 许云辉　高洪喜　张茜　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01)G06Q 10/06(2012.01) G06Q 40/02(2012.01) G06N 3/04(2006.01) (54)发明名称 服务质量评估方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种服务 质量评估 方法， 包括： 获取用户视频， 并抽取所述 用户视频中的单帧图像集； 利用特征提取模型提 取单帧图像集的图像特征； 利用人脸表情识别模 型从图像特征中识别出表情特征， 得到表情特征 集， 以及利用手型识别模型从图像特征中识别手 势特征， 得到手势特征集； 根据手势 ‑表情库权重 表分别对表情特征集及手势特征集进行评估， 得 到表情评估值以及手势评估值； 根据表情评估值 以及手势评估值， 得到服务质量评估值。 此外， 本 发明还涉及区块链技术， 所述用户视频可存储于 区块链的节 点。 本发明还提出一种服务质量评估 装置、 电子设备以及存储介质。 本发明可 以解决 服务质量评估的准确性较低的问题。 权利要求书3页 说明书12页 附图2页 CN 114863344 A 2022.08.05 CN 114863344 A 1.一种服 务质量评估方法， 其特 征在于， 所述方法包括： 获取用户视频， 并抽取 所述用户视频中的单帧图像集； 利用预构建的特 征提取模型提取 所述单帧图像集的图像特 征； 利用预构建的人脸表情识别模型从所述图像特征中识别出表情特征， 得到表情特征 集， 以及利用预构建的手型识别模型从所述图像特 征中识别手势特 征， 得到手势特 征集； 根据预设的手势 ‑表情库权重表分别对所述表情特征集及手势特征集进行评估， 得到 表情评估值以及手势评估值； 根据所述表情评估值以及所述手势评估值， 得到服 务质量评估值。 2.如权利要求1所述的服务质量评估方法， 其特征在于， 所述获取用户视频， 抽取所述 用户视频中的单帧图像集， 包括： 将所述用户视频执行压缩数据展开， 得到所述用户视频中的每一帧视频图像， 并计算 所述每一帧视频图像之间的残差数据以及运动矢量； 根据所述 运动矢量对所述每一帧视频图像进行残差数据整合， 得到单帧图像集。 3.如权利要求2所述的服务质量评估方法， 其特征在于， 所述计算所述每一帧视频图像 之间的残差数据以及运动矢量， 包括： 将所述每一帧视频图像根据图像 像素点划分成像素块图像， 得到像素块图像集； 通过遍历操作从所述像素块图像集中选择每一帧像素块图像作为当前像素块图像， 并 将所述当前像素块图像与所述当前像素块图像相邻的下一帧像素块图像中的像素块进行 一一对比； 如果所述当前像素块图像及对应的下一帧像素块图像中的所有像素块的像素值都一 样， 则删除所述当前像素块图像， 并返回上述通过遍历操作从所述像素块图像集中选择每 一帧像素块图像作为当前像素块图像的步骤； 如果所述当前像素块图像及对应的下一帧像素块图像中的所有像素块的像素值不一 样， 则按照预设的匹配准则在所述下一帧像素块图像中预设范围内执 行像素块匹配操作； 当在所述范围内查找到最匹配的像素块 时， 根据所述最匹配的像素块计算所述当前像 素块图像及对应的下一帧像素块图像的位移差值， 得到所述 运动矢量； 利用预构建的Super ‑Slomo神经网络预测所述下一帧像素块图像的中像素块的像素 值， 得到所述像素块的理论像素值； 获取所述下一帧像素块图像的中对应 像素块的实际像素值； 根据所述理论像素值以及所述实际像素值， 计算得到所述残差数据。 4.如权利要求1所述的服务质量评估方法， 其特征在于， 所述利用预构建的特征提取模 型提取所述单帧图像集的图像特 征， 包括： 根据所述每一帧单帧图像的像素点的像素值， 构建像素矩阵； 根据所述像素矩阵， 采用预构建的图像灰度化公式计算所述单帧图像的像素点的灰度 值， 根据所述灰度值构建所述单帧图像的灰度矩阵； 将所述灰度矩阵输入至所述特征提取模型， 利用所述卷积层对所述灰度矩阵执行卷积 操作， 得到特 征矩阵； 利用所述池化层对所述特 征矩阵执 行池化操作， 得到所述图像特 征。 5.如权利要求4所述的服务质量评估方法， 其特征在于， 所述根据所述像素矩阵， 采用权　利　要　求　书 1/3 页 2 CN 114863344 A 2预构建的图像灰度化 公式计算所述单帧图像的像素点的灰度值， 根据所述灰度值构建所述 单帧图像的灰度矩阵， 包括： 从所述像素矩阵中获取每个像素点的红色分量像素值、 绿色分量像素值及蓝色分量像 素值； 采用下述图像灰度化公式计算每 个像素点的灰度值Gray： 其中， R为所述像素点中红色分量像素值， G为所述像素点中绿色分量像素值， B为所述 像素点中蓝色 分量像素值， 2.2为所述Gam ma校正值。 6.如权利要求1所述的服务质量评估方法， 其特征在于， 所述利用预构建的人脸表情识 别模型从所述图像特 征中识别出表情特 征， 得到表情特 征集， 包括： 将所述图像特 征映射到预设的坐标系中； 在所述坐标系中， 利用所述人脸表情识别模型筛 选出人脸区域， 并检测人脸关键点； 根据所述人脸关键点， 在所述 坐标系中标记出每 个所述人脸关键点的坐标； 根据所述坐标， 计算每个所述人脸关键点的相对距离， 并将所述相对距离关联至所述 人脸区域中； 调整所述人脸区域的大小与 预构建的人脸表情识别模型中的人脸轮廓大小一致， 并将 所述人脸区域与所述人脸表情识别模型中的人脸表情特征执行匹配识别， 得到人脸表情特 征； 汇总所有所述人脸表情特 征， 得到所述表情特 征集。 7.如权利要求1所述的服务质量评估方法， 其特征在于， 所述以及利用预构建的手型识 别模型从所述图像特 征中识别手势特 征， 得到手势特 征集， 包括： 利用Sobel 算子对所述图像特 征执行边缘检测处 理， 并提取 所述图像特 征的边缘轮廓； 利用预构建的手型识别模型中识别层识别出 所述边缘轮廓中的手型轮廓； 调整所述手型轮廓的尺寸与所述手型识别模型中的手型模板同一大小； 将手型轮廓与 所述预构建的手型识别模型中的手型模板执行匹配， 并提取成功匹配的 手型模板， 得到所述手势特 征； 汇总所有所述手势特 征， 得到所述手势特 征集。 8.一种服 务质量评估 装置， 其特 征在于， 所述装置包括： 图像特征提取模块， 用于获取用户视频， 抽取所述用户视频中的单帧图像集， 并利用预 构建的特 征提取模型提取 所述单帧图像集的图像特 征； 图像特征识别模块， 用于利用预构建的人脸表情识别模型从所述图像特征中识别出表 情特征， 得到表情特征集， 以及利用预构建的手型识别模型从所图像特征中识别手势特征， 得到手势特 征集； 服务质量评估模块， 用于根据预设的手势 ‑表情库权重表分别对所述表情特征集及手 势特征集进行评估， 得到表情评估值以及手势评估值； 根据所述表情评估值以及所述手势 评估值， 得到服 务质量评估值。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及，权　利　要　求　书 2/3 页 3 CN 114863344 A 3