(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210680866.6 (22)申请日 2022.06.16 (71)申请人 中交第二 航务工程局有限公司 地址 430048 湖北省武汉市东西湖区金银 湖路11号 申请人 中交公路长大桥建 设国家工程研究 中心有限公司 (72)发明人 张永涛　田唯　黄灿　王永威　 周浩　陈圆　朱浩　郑建新　 李焜耀　刘志昂　薛现凯　肖垚　 杨华东　吕丹枫　李浩　王紫超　 代百华　 (74)专利代理 机构 北京远大卓悦知识产权代理 有限公司 1 1369 专利代理师 熊雨静(51)Int.Cl. G06T 17/00(2006.01) G06T 7/70(2017.01) G06T 7/246(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于领域增强合成数据集的桥面车辆 实时追踪方法 (57)摘要 本发明公开了一种基于领域增强合成数据 集的桥面车辆实时追踪 方法， 依据目标桥梁真实 数据建立全尺 寸三维模型， 并通过软件渲染生成 不同天气场景； 依据真实交通规则， 生成独立运 行的虚拟车辆模 型， 通过桥梁模 型上布置的虚拟 摄像头采集不同车况路况下的模拟图像数据， 并 作为合成数据集的一部分， 通过随机采样数据增 强方法， 构造合成数据集， 与真实图像数据一起 训练目标检测网络， 之后可用于目标的快速识 别。 利用摄像头布置算法， 在三维模型中模拟摄 像头的不同安装位置， 寻找摄像头布置的最优 解。 本发明为特定车况路况下图像数据的采集提 供了安全、 高效的虚拟工具， 同时独特的摄像头 布置算法使得本发明在数据的采集和后处理上 具有高效率的优势。 权利要求书3页 说明书9页 附图4页 CN 115035251 A 2022.09.09 CN 115035251 A 1.一种基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在于， 包括如下步 骤： 步骤1、 在3D建模软件中， 依据桥梁实际尺寸进行全尺寸数字模型建模， 在桥面布置不 同种类车辆模型并建立车辆行为模型， 经渲染生成三维车况路况场景， 通过布置的虚拟摄 像头获取 车辆在桥 面上的运动状态， 生成模拟图像数据； 步骤2、 使用模拟图像数据和真实图像数据进行生成式对抗学习， 生成合成的模拟图像 数据， 并对合成的模拟图像数据与真实图像数据进行 标注， 完成合成数据集的构建； 步骤3、 采用合成数据集作为训练集， 基于YOLO  V4算法的随机采样数据增强方法对目 标检测网络进行训练， 合成包 含多种目标 特征的训练图， 识别出目标 车辆相关信息； 步骤4、 在步骤1的全尺寸数字模型中， 根据训练图基于曲线拟合的车道线检测原理拟 合出车道曲线， 通过视域缝合将多个连贯的摄 像头视域拼接为一条完整的路面车道； 步骤5、 将每个摄像头中追踪的目标车辆相关信息， 通过缝合视域坐标系的映射， 实现 车辆跨视域识别与追踪。 2.如权利要求1所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤1具体包括： 步骤1.1： 采用实体建模方法， 在3D 建模软件Blender中构建实际桥梁全尺寸数字模型， 并制作各种类型 车辆的三维车辆模型库， 输入Blender模型库中； 步骤1.2： 建立符合实际交通 规则的多类型 车辆行为模型； 步骤1.3： 根据实际工程需要导入不同类型车辆模型， 并赋予其特定的车辆行为模型， 使车辆模型依照设定的路径与行为模式在全尺寸数字模型中运行， 模拟真实交通状况； 步骤1.4： 调整模拟系统参数， 对不同天气条件和动态车流情境下摄像头部分遮挡情况 进行模拟， 得到不同情境下的车辆运行状态； 步骤1.5： 设置虚拟摄像头， 收集模型运行过程中车辆在桥面车道内的运动状态， 导出 为视频格式， 再将其逐帧转 化为图片格式， 生成模拟图像数据。 3.如权利要求1所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤2具体包括： 步骤2.1： 首先将需要追踪的车辆进行标识和分类， 将不同类型的车辆真实图片作为真 实图像数据集导入模型， 作为一级数据源， 结合模型中车辆交通模拟所得的模拟图像数据 作为二级数据源； 步骤2.2： 使用模拟图像数据即二级数据源和真实图像数据即一级数据源为基础进行 生成式对抗学习， 产生随机噪声集{z}和样本集{x}； 步骤2.3： 从高斯噪声分布即随机噪声集{z}中随机采样 m个样本； 从真实数据分布即随 机样本集{x} 中随机采样m个样本； 步骤2.4： 通过随机梯度下降SGD方法更新判别器Sw的参数； 步骤2.5： 再从高斯噪声分布即随机噪声集{z} 中随机采样另外m个样本； 步骤2.6： 通过随机梯度下降SGD方法更新判别器Gθ的参数； 步骤2.7： 得到生成的模拟图像数据， 将其用作训练神经网络的数据集； 步骤2.8： 对得到的模拟图像数据集与真实图像数据集进行标注， 完成合成数据集的构 建。权　利　要　求　书 1/3 页 2 CN 115035251 A 24.如权利要求1所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤3具体包括： 步骤3.1： 将合成数据集分为n个batch用于批量处理， 取出一个batch， 随机选取4张图 片， 随机位置 剪裁、 拼接成新图， 此 过程重复batc h_size次， 得到新的融合数据集； 步骤3.2： 图像经过上述步骤3.1随机采样数据增强处理后， 再经过cmBN与SAT自对抗训 练进行预处理； 步骤3.3： 使用跨阶段局部网络CSPNet优化跨阶段梯度信息重复问题， 采用ResNet残差 结构优化模型整体框架， 先将基础层的特征映射划分为两部分， 然后通过跨 阶段层次结构 将它们合并； 步骤3.4： 将上步骤3.3得到的不同尺寸的特征图送入SPP网络中， 对特征图进行固定尺 寸的池化操作得到固定维度的特 征图； 步骤3.5： 使用FPN+PAN结构对步骤3.4不同尺寸的特征图进行参数聚合， 得到融合特征 图； 步骤3.6： 将步骤3.5的融合特征 图输入Head输出层得到预测框输出结果， 即得到识别 车辆的相关信息 。 5.如权利要求1所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤1中真实图像数据为 从网络中获取的其它桥梁监控视频里提取的车辆图片， 其 配备了对应的标识数据， 例如车辆的型号、 大小、 车辆在图片中的像素坐标。 6.如权利要求1所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤2中的标注为使用标注工具在得到的图像数据上以矩形框形式标明车辆位置， 以文件名的形式标明标签信息； 所述步骤3中识别出的目标车辆相关信息包括车辆位置、 中 心坐标、 目标 车辆像素尺寸。 7.如权利要求1所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤4中获取桥 面摄像头布局具体方法为： a)根据已有的公路参数， 选择对应参数的摄 像头产品； b)根据摄 像头的可视距离和公路 路面及桥 面的长度， 得 出纵向摄 像头间隔和数量； c)根据摄 像头的视域角度， 像素和公路参数， 得 出横向摄 像头数量； d)根据公路上可安装摄像头位置结合步骤b)和步骤c)数据， 得出摄像头在公路上的基 础布局， 通过步骤1中建立的数字模型中设置的虚拟摄 像头查看 摄像头基础布局； e)结合摄像头基础布局， 根据路面和桥面的摄像头实际能安装的位置， 作为递归参数， 修正实际摄像头布局， 通过步骤1中建立的数字模型中设置的虚拟摄像头查看修正后的实 际摄像头布局； f)根据步骤3中识别出的目标车辆相关信息后， 目标车辆出现在摄像头视域区域中的 频率来确定实际摄 像头布局中车辆的有效识别距离； g)将有效识别距离作为参数， 修正步骤e)中的实际摄像头布局， 即通过增减摄像头间 隔， 使相邻摄 像头的有效识别距离能使其覆盖的路面相连接， 为 最优覆盖率； h)根据覆盖率进一 步修正实际摄 像头布局， 得 出所需摄像头的数量和安装位置 。 8.如权利要求7所述的基于领域增强合成数据集的桥面车辆实时追踪方法， 其特征在 于， 所述步骤4中车道曲线拟合具体包括：权　利　要　求　书 2/3 页 3 CN 115035251 A 3