(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210720889.5 (22)申请日 2022.06.23 (71)申请人 上海妙文 会展服务有限公司 地址 201203 上海市浦东 新区郭守敬路498 号4号楼5楼 (72)发明人 王爱民　杨宁　韩东　 (74)专利代理 机构 上海方澜知识产权代理事务 所(普通合伙) 31440 专利代理师 李娜　汤国开 (51)Int.Cl. G06V 40/20(2022.01) G06T 17/00(2006.01) G06F 3/01(2006.01) (54)发明名称 一种基于隔空手势操作的元宇宙展览展示 体验系统 (57)摘要 本发明公开了一种基于隔空手势操作的元 宇宙展览展示体验系统， 属于线上虚拟展览技术 领域， 包括如下步骤： 所述Kinect硬件介入， 通过 Kinect硬件提前介入， 感知展览人员和手臂的动 作， 所述Kinect硬件包括可捕捉全景视角的相 机； 所述体感控制器二次介入， LeapMotion在其 设备上通过红外线发射器发出探测射线， 在收集 返回的信号， 生成一个三维的立体面。 本实施例 中的线上展馆， 提高线上展馆的真实性， 采用手 势和骨骼识别感应 设备增强线上展馆的互动性， 增加线上展馆参观的导览模式功能， 实现目前线 上展馆和线下展 馆的优势互补。 权利要求书2页 说明书7页 附图5页 CN 115100742 A 2022.09.23 CN 115100742 A 1.基于隔空手势操作的元宇宙展览展示体验系统， 包括Kinect硬件、 体感控制器、 运算 单元及成像单 元， 其特征在于， 包括如下步骤： 所述Kinect硬件介入， 通过Kinect硬件提前介入， 感知展览人员和手臂的动作， 所述 Kinect硬件 包括可捕捉全景视角的相机； 所述体感控制器二次介入， Leap  Motion在其设备上通过红外线发射器发出探测射线， 在收集返回的信号， 生成一个三维的立体面； 所述运算单元根据手势 识别的结果， 取相同的一个关节坐标点； 所述成像单 元， 用于手对象提供属性 来反映一只被 检测到手的物理特 征。 2.根据权利要求1所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在于， 所述Kinect硬件根据观众头部位置及脸部的完整性， 分析出观众的头部转 向， 同时将头部 的动作和显示的聚焦部分绑定， 并且将双手和聚焦视图大小绑定， 视图大小随着观众望远 镜动作的张开而做出改变。 3.根据权利要求1所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在于， 所述体感控制器会实时获取整只手真实的坐标空间坐标(x， y， z)， 如果将手的部分移出了 互动有效空间， KinectAzure设备会立即检测到无效动作， 并在显示大屏上提示互动者重新 返回有效区域。 4.根据权利要求1或3所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在 于， 所述体感控制器中对手势进之间的细微末节的差异捕捉， 采用A I识别分析， 将 手拆分为 人体的骨骼结构的关节和骨骼。 5.根据权利要求4所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在于， 所述体感控制器二次介入， 对预先建立好的运动模型进行匹配分析， 获取每个预制模型对 比的相似度百分比， 来判断百分比值的大小获取手势触发是否成功。 6.根据权利要求1所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在于， 所述运算单元， 第一帧的数据为初始 点坐标， 第二帧的数据为终点坐标， 然后根据手势中同 一坐标点的变化 来判断左移还是右 移。 7.根据权利要求1或6所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在 于， 所述体感控制器会为运算单元中的手势数据进行分配 “ID”指示符， 指示符会因为手势 在于设备可视范围内保持不变， 之前帧数据 发生位移、 旋转、 尺度变化Leap  Motion都会给 出帧运动因素。 8.根据权利要求1所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在于， 所述成像单 元， 方向和手掌法线方向是在Leap  Motion坐标系下， 描述手的方向的向量。 9.一种基于隔空手势操作的元宇宙展览展示体验手势制作方法， 应用于上述权利要求 1‑8任意一项 所示的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在于， 包括如下 步骤： (1)展项手势交互， 场景互动基于手势识别的方式进行操作， 参观人员将手移动至扫描 按钮上， 等待3秒钟触发机 械臂开始设备检修； 扫描完成后场景中提 示设备需要维修的部位， 通过手势选择 执行维修操作； (2)手势绘制导览线路， 参观前展馆管理人员通过特殊手势识别进入展馆区域参观线 路的绘制模式， 自定义 参观动线， 为 参观人员提供展馆游览顺序的参 考；权　利　要　求　书 1/2 页 2 CN 115100742 A 2特殊手势采用两种手势， 两种手势交替保持5秒钟进入参观动线的绘制， 降低进入绘制 模式的误触发率； 通过预置的特殊手势激活隔空手势设置虚拟导览路线功能后， 大屏会提示在有 效检测 区域移动手掌， 来控制导览路线指示游标； 如果在设置导览路线的过程中， 不小心误操作游览线路， 或者改变主意想换个导览点， 这个时候可以立即作出另外取消的手势； 所述的取消的手势是预置在程序里 的模型， 当程 序检测到 了取消手势的时候， 录制游览路线的游标会变成擦除游标； (3)手势虚拟导览预览实景， 首先在录制游览线路的时候， 用手移动控制 指示游标靠近 关键游览点， 然后用预置的触发手势， 激活当前靠 近的关键游览点的实时摄 像机部件； 然后大屏上会直接进入当前选择的关键游览点的实时摄像机画面， 让互动 者在没有抵 达实地的情况 下， 实时的观察到馆里的实际情况， 让互动者可以身临其 境地体验相关展 项。 10.根据权利要求9所述的基于隔空手势操作的元宇宙展览展示体验系统， 其特征在 于， 所述擦除游标只需要往回移动手部， 游标就会抹去不需要的路线， 并且不需要从头进 行 录制。权　利　要　求　书 2/2 页 3 CN 115100742 A 3