(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210693473.9 (22)申请日 2022.06.17 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 安平　邓小宝　陈亦雷　黄新彭　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 徐红银　张琳 (51)Int.Cl. G06T 7/50(2017.01) G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的点云上采样方法、 设 备、 介质及终端 (57)摘要 本发明提供一种基于深度学习的点云上采 样方法， 包括： 计算稀疏点的法向量， 并在其切平 面生成栅格点； 根据所述栅格点与其邻近稀 疏点 的相对位置信息， 使用深度学习方法对所述栅格 点进行线性组合， 生成3D平面点； 根据所述3D平 面点之间的相对位置关系和所述3D平面点与所 述邻近稀 疏点的相对位置关系， 使用深度学习模 型计算各3D平面点的移动偏置， 获得最终的上采 样点。 本发 明实施例中一种基于深度学习的点云 上采样方法， 引入栅格点辅助进行点云上采样， 利用点云间相对位置关系的同时， 加深点云上采 样块之间的联系， 从而达到更好的点云上采样效 果。 权利要求书2页 说明书7页 附图2页 CN 114998404 A 2022.09.02 CN 114998404 A 1.一种基于深度学习的点云上采样方法， 其特 征在于， 包括： 计算稀疏点的法向量， 并在其切平面 生成栅格点； 根据所述栅格点与其邻 近稀疏点的相对位置信 息， 使用深度学习方法对所述栅格点进 行线性组合， 生成3D平面 点； 根据所述3D平面点之间的相对位置关系和所述3D平面点与所述邻近稀疏点的相对位 置关系， 使用深度学习模型计算3D平面 点的移动偏置， 获得最终的上采样点。 2.根据权利要求1所述的一种基于深度 学习的点云上采样方法， 其特征在于， 所述计算 稀疏点的法向量， 并在其切平 面生成栅格点,包括： 使用深度学习方法计算所述稀疏点的法 向量， 并依据所述法向量和所述稀疏点 位置， 生成位于稀疏点切平面的栅格点。 3.根据权利要求2所述的一种基于深度 学习的点云上采样方法， 其特征在于， 使用深度 学习学习稀疏点和其邻近稀疏点的相对位置关系， 获得该稀疏点云块的全局特征以及邻近 稀疏点的局部点特 征； 基于所述全局特征和局部点特征， 通过Softmax函数计算所述稀疏点云块中的每一个 点对法向量估计的权 重； 将所述权 重代入n‑jet模型中， 获得 所述稀疏点云的法向量； 根据所述法向量， 在稀疏点的切平面 生成均匀分布的栅格点。 4.根据权利要求3所述的一种基于深度 学习的点云上采样方法， 其特征在于， 所述根据 栅格点与其邻近稀疏点的相对位置信息， 使用深度学习 方法对所述栅格点进行线性组合， 生成3D平面 点； 包括： 通过深度学习将所述 栅格点与邻近稀疏点的低维相对位置关系映射成高维空间特 征； 所述高维空间特 征与所述稀疏点云块的全局特 征级联获得栅格点的特 征； 基于所述栅格点的特征， 通过MLP(Multi ‑layer perception， 多层感知机)映射获得所 述栅格点相应上采样数量的3D平面 点权重； 基于所述平面 点权重进行加权求和， 获得3D平面 点。 5.根据权利要求4所述的一种基于深度 学习的点云上采样方法， 其特征在于， 所述根据 3D平面点之 间的相对位置 关系和所述3D平 面点与所述邻近稀疏点的相对位置 关系， 使用深 度学习模型计算3D平面 点的移动偏置， 获得最终的上采样点， 包括： 使用基于块间的non ‑local特征增强模块， 加深每一个3D平面点与其邻近块中所有3D 平面点的关联， 获得增强后的包 含局部和非局部信息的3D平面 点特征； 基于所述3D平面 点特征， 通过MLP映射得到每一个平面 点的移动偏置； 所述3D平面 点按照所述移动偏置移动到其对应曲面， 获得最终的上采样点云。 6.根据权利要求5所述的一种基于深度学习的点云上采样方法， 其特征在于， 包括： 所 述3D平面 点特征的获取， 包括： 基于所述格栅 点的特征和所述平面权 重， 得到平面融合 点特征； 将所述格栅 点映射至高位空间， 获得 特征空间中的相对平面 位置关系； 基于块间的n on‑local特征增强模块， 获得块间的n on‑local特征； 将所述块间的non‑local特征和平面融合 点特征变换融合， 得到 3D平面点特征。 7.一种基于深度学习的点云上采样系统， 其特 征在于， 包括： 栅格点生成模块， 所述栅格点生成模块计算稀疏点的法向量， 并在其切平面生成栅格权　利　要　求　书 1/2 页 2 CN 114998404 A 2点； 平面点生成模块， 所述平面点生成模块根据 所述栅格点与其邻 近稀疏点的相对位置信 息， 使用深度学习方法对所述 栅格点进行线性组合， 生成3D平面 点； 上采样点生成模块， 所述上采样点生成模块根据 所述平面点之间的相对位置关系和所 述平面点与所述稀疏点的相对位置关系， 使用深度学习模型计算各点沿其移动偏置， 获得 最终的上采样点。 8.一种电子设备， 其特征在于， 所述电子设备包括处理器和存储器， 所述存储器中存储 有至少一条指 令、 至少一段程序、 代码集 或指令集， 所述至少一条指 令、 所述至少一段程序、 所述代码集或指令集由所述处 理器加载并执 行以实现： ‑权利要求1 ‑6任一项所述的一种基于深度学习的点云上采样方法， 或， ‑权利要求7 所述的一种基于深度学习的点云上采样系统。 9.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一条指令、 至少 一段程序、 代码集或指令集， 所述至少一条指令、 所述至少一段程序、 所述代码集或指令集 由处理器加载并执 行： ‑权利要求1 ‑6任一项所述的一种基于深度学习的点云上采样方法， 或， ‑权利要求7 所述的一种基于深度学习的点云上采样系统。 10.一种信 息数据处理终端， 其特征在于， 所述信 息数据处理终端用于实现权利要求1 ‑ 6任一项所述的一种基于深度学习的点云上采样方法或权利要求7所述的一种基于深度学 习的点云上采样系统。权　利　要　求　书 2/2 页 3 CN 114998404 A 3