(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210701055.X (22)申请日 2022.06.20 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 林文杰　陆杨芳　霍华仔　康栋山　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 张体南 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06F 16/36(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 5/02(2006.01) G06Q 40/02(2012.01) (54)发明名称 客户满意度识别方法、 装置、 设备和介质 (57)摘要 本公开提供了一种客户满意度 识别方法， 涉 及人工智能领域。 该方法包括： 获得客户在预定 时间段内M个时刻的客户图像； 根据所述M个时刻 中每个时刻的客户图像， 获得所述客户在所述每 个时刻的姿态预测结果和表情预测结果； 根据所 述每个时刻的姿态预测结果和表情预测结果， 得 到所述每个时刻的情绪评估向量； 将所述每个时 刻的情绪评估向量按照对应时刻在所述M个时刻 中的时间顺序进行组装， 得到时序情绪向量序 列； 将所述时序情绪向量序列输入至预先训练的 满意度识别模型， 获得客户满意度识别结果。 本 公开还提供了一种客户满意度识别装置、 设备、 存储介质和程序 产品。 权利要求书2页 说明书13页 附图8页 CN 114973419 A 2022.08.30 CN 114973419 A 1.一种客户满意度识别方法， 包括： 获得客户在预定时间段内M个时刻的客户图像， M为大于或等于2的整数； 根据所述M个时刻中每个时刻的客户图像， 获得所述客户在所述每个时刻的姿态预测 结果和表情预测结果； 根据所述每个时刻的姿态预测结果和表情预测结果， 得到所述每个时刻的情绪评估向 量； 将所述每个时刻的情绪评估向量按照对应时刻在所述M个时刻中的时间顺序进行组 装， 得到时序情绪向量序列， 其中， 所述时序情绪向量序列包括M个情绪评估向量； 将所述时序情绪向量序列输入至预先训练 的满意度识别模型， 获得客户满意度识别结 果， 其中， 所述客户满意度识别结果用于表征所述客户在所述预定时间段内的情绪变化趋 势。 2.根据权利要求1所述的方法， 其中， 所述根据所述每个时刻的姿态预测结果和表情预 测结果， 得到所述每 个时刻的情绪评估向量包括： 将所述每个时刻的姿态预测结果和表情预测结果输入至情绪评估知识模型， 获得所述 情绪评估知识模型 的输出向量， 其中， 所述情绪评估知识模型根据长短期记忆网络构建获 得； 根据所述输出向量得到索引数据； 从情绪知识库中取出与所述索引数据相匹配的情绪评估向量， 其中， 所述情绪知识库 中包括至少一个待匹配情绪评估向量。 3.根据权利要求2所述的方法， 其中， 在所述从情绪知识库中取出与 所述索引数据相匹 配的情绪评估向量之前， 还 包括获得 所述情绪知识库， 具体包括： 将情绪文本数据集输入至可微神经计算机模型进行处理， 得到所述可微神经计算机模 型的外部存储矩阵， 其中， 所述情绪文本数据集包括至少一个用于训练所述可微神经计算 机模型的文本； 根据所述外 部存储矩阵得到所述情绪知识库。 4.根据权利要求1所述的方法， 其中， 所述满意度识别模型包括第一神经网络模型、 第 二神经网络模型和分类模型， 所述分类模型为机器学习模型， 将所述时序情绪向量序列输 入至预先训练的满意度识别模型， 获得客户满意度识别结果包括： 使所述第一神经网络模型处 理所述时序情绪向量序列， 得到情绪变化热向量； 使所述第二神经网络模型处 理所述时序情绪向量序列， 得到情绪评估中间向量； 将所述情绪变化热向量和所述情绪评估中间向量输入至所述分类模型， 获得所述客户 满意度识别结果。 5.根据权利要求1所述的方法， 其中， 所述获得客户在预定时间段内M个时刻的客户图 像包括： 获得在所述预定时间段内的视频数据， 其中， 所述视频数据中至少两个图像帧包括所 述客户； 对所述视频数据中的N个图像帧进行客户重识别， N为大于或等于2的整数， N大于或等 于M； 基于所述 客户重识别的结果， 从所述 N个图像帧中获得 所述M个时刻的客户图像。权　利　要　求　书 1/2 页 2 CN 114973419 A 26.根据权利要求5所述的方法， 其中， 所述根据 所述M个时刻中每个时刻的客户图像， 获 得所述客户在所述每 个时刻的姿态预测结果包括： 将所述每个时刻的客户图像输入至姿态识别模型， 获得所述每个时刻的姿态预测结 果， 其中， 所述每个时刻的姿态预测结果用于表征该时刻所述客户的第一情绪， 所述姿态识 别模型通过密集连接方式构建获得。 7.根据权利要求6所述的方法， 其中， 所述根据 所述M个时刻中每个时刻的客户图像， 获 得所述客户在所述每 个时刻的表情预测结果包括： 将所述每个时刻的客户图像输入至表情识别模型， 获得所述每个时刻的表情预测结 果， 其中， 所述每个时刻的表情预测结果用于表征该时刻所述客户的第二情绪， 所述第一情 绪与所述第二情绪相同或不同， 所述表情识别模型通过分层特 征聚合方式构建获得。 8.根据权利要求7所述的方法， 其中， 将所述每个时刻的客户图像输入至表情识别模型 包括： 对所述每 个时刻的客户图像进行超分辨 率重建， 得到每 个时刻的超分辨 率客户图像； 将所述每 个时刻的超分辨 率客户图像输入至所述表情识别模型。 9.一种客户满意度识别装置， 包括： 图像获得模块， 用于获得客户在预定时间段内M个时刻的客户图像， M为大于或等于2的 整数； 姿态和表情预测模块， 用于根据所述M个时刻中每个时刻的客户图像， 获得所述客户在 所述每个时刻的姿态预测结果和表情预测结果； 第一向量模块， 用于根据所述每个时刻的姿态预测结果和表情预测结果， 得到所述每 个时刻的情绪评估向量； 第二向量模块， 用于将所述每个时刻的情绪评估向量按照对应时刻在所述M个时刻中 的时间顺序进行组装， 得到时序情绪向量序列， 其中， 所述时序情绪向量序列包括M个情绪 评估向量； 满意度识别模块， 用于将所述时序情绪向量序列输入至预先训练的满意度识别模型， 获得客户满意度识别结果， 其中， 所述客户满意度识别结果用于表征所述客户在所述预定 时间段内的情绪变化趋势。 10.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器执行根据权利要求1～8中任一项所述的方法。 11.一种计算机可读存储介质， 其上存储有可执行指令， 该指令被处理器执行时使处理 器执行根据权利要求1～8中任一项所述的方法。 12.一种计算机程序产品， 包括计算机程序， 所述计算机程序被处理器执行时实现根据 权利要求1～8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114973419 A 3