(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210603101.2 (22)申请日 2022.05.30 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 余佳桁　杜豪　徐志华　郑捷力　 卢乐炜　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/72(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06V 20/56(2022.01) G06V 20/40(2022.01) (54)发明名称 一种数据集构建方法、 装置、 计算机设备及 存储介质 (57)摘要 本公开提供了一种数据集构建方法、 装置、 计算机设备及存储介质， 其中， 该方法包括： 获取 至少一个样 本视频； 分别对所述样 本视频进行采 样处理， 得到采样图像组； 其中， 所述采样处理包 含基于行驶距离的第一采样处理、 基于转向信息 的第二采样处理、 基于位置信息的第三采样处理 中至少一种； 基于所述采样图像组中所包含的样 本视频帧， 构建与所述样本 视频对应的数据集。 权利要求书2页 说明书16页 附图3页 CN 115019127 A 2022.09.06 CN 115019127 A 1.一种数据集构建方法， 其特 征在于， 包括： 获取至少一个样本 视频； 分别对所述样本视频进行采样处理， 得到采样图像组； 其中， 所述采样处理包含基于行 驶距离的第一采样处理、 基于转向信息的第二采样处理、 基于位置信息的第三采样处理中 至少一种； 基于所述采样图像组中所包 含的样本 视频帧， 构建与所述样本 视频对应的数据集。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取至少一个样本 视频， 包括： 获取至少一个样本 视频， 以及 在采集所述样本 视频时对应的传感器数据； 所述分别对所述样本 视频进行采样处 理， 包括： 基于所述样本 视频对应的传感器数据， 对所述样本 视频进行采样处 理。 3.根据权利要求2所述的方法， 其特征在于， 所述传感器数据包括所述样本视频的各样 本视频帧对应的速度信息； 所述基于所述样本 视频对应的传感器数据， 对所述样本 视频进行采样处 理， 包括： 从所述样本视频帧的首帧开始， 基于各样本视频帧对应的速度信 息和各样本视频帧之 间的时间间隔， 确定首个距离所述首帧视频帧的行驶距离不小于第一预设距离的目标视频 帧； 将所述目标视频帧的下一视频帧重新确定为首帧视频帧， 并返回执行确定目标视频帧 的步骤； 其中， 所述目标视频帧为进行第一采样处 理后得到的采样图像组的视频帧。 4.根据权利要求3所述的方法， 其特征在于， 所述目标视频帧包括高速视频帧和低速视 频帧； 所述方法还 包括： 将对应的速度信息小于预设速度阈值的目标视频帧确定为所述低速视频帧， 以及， 将 对应的速度信息不小于所述预设速度阈值的目标视频帧确定为所述高速 视频帧； 所述基于所述采样图像组中所包含的样本视频帧， 构建与所述样本视频对应的数据 集， 包括： 基于所述高速视频帧对应的第 一构建比例和所述低速视频帧对应的第 二构建比例， 从 所述目标视频帧中筛选出第一视频帧， 并基于所述第一视频帧构建与所述样本视频对应的 数据集。 5.根据权利要求2～4任一所述的方法， 其特征在于， 所述传感器数据包括所述样本视 频的各样本 视频帧对应的航向角； 所述基于所述样本 视频对应的传感器数据， 对所述样本 视频进行采样处 理， 包括： 确定对应的航向角大于预设航向角阈值的转向视频片段； 按照预设的第一采样间隔对所述 转向视频片段进行采样处 理。 6.根据权利要求5所述的方法， 其特征在于， 所述传感器数据还包括所述样本视频的各 样本视频帧对应的速度信息； 所述按照预设的采样间隔对所述 转向视频片段进行采样处 理， 包括： 基于所述转向视频帧对应的速度信 息和所述转向视频帧之间的时间间隔， 确定各段转 向视频片段对应的转向移动距离； 在所述转向移动距离超过第 二预设距离的情况下， 按照预设的第 一采样间隔对所述各权　利　要　求　书 1/2 页 2 CN 115019127 A 2段转向视频片段进行采样处 理。 7.根据权利要求2～6任一所述的方法， 其特征在于， 所述传感器数据包括所述样本视 频的各样本 视频帧对应的位置信息； 所述基于所述样本 视频对应的传感器数据， 对所述样本 视频进行采样处 理， 包括： 基于所述各样本视频帧对应的位置信 息， 确定在目标区域拍摄的至少一段样本视频片 段； 按照预设的第二采样间隔对各 段样本视频片段进行采样处 理。 8.根据权利要求7 所述的方法， 其特 征在于， 所述目标区域包括路口区域； 在按照预设的第二采样间隔对各段样本视频片段进行采样处理之后， 所述方法还包 括： 对采样处理后的区域视频帧进行识别， 并基于识别结果确定各区域视频帧对应的区域 类型； 所述基于所述采样图像组中所包含的样本视频帧， 构建与所述样本视频对应的数据 集， 包括： 基于各区域类型分别对应的构建比例， 从所述区域视频帧中筛选出第二视频帧， 并基 于所述第二视频帧构建与所述样本 视频对应的数据集。 9.根据权利要求1～8任一所述的方法， 其特征在于， 所述基于所述采样图像组中所包 含的样本 视频帧， 构建与所述样本 视频对应的数据集， 包括： 确定所述采样图像组中所包 含的样本 视频帧分别对应的嵌入表征向量； 基于各样本视频帧分别对应的嵌入表征向量， 对所述采样图像组中的样本视频帧进行 去重处理， 并将去重处 理之后的采样图像组作为所述样本 视频对应的数据集。 10.根据权利要求1～ 9任一所述的方法， 其特 征在于， 所述方法还 包括： 基于所述样本 视频对应的数据集对待训练的神经网络进行训练。 11.一种数据集构建装置， 其特 征在于， 包括： 获取模块， 用于获取至少一个样本 视频； 采样模块， 用于分别对所述样本视频进行采样处理， 得到采样图像组； 其中， 所述采样 处理包含基于行驶距离的第一采样处理、 基于转向信息的第二采样处理、 基于位置信息的 第三采样处 理中至少一种； 构建模块， 用于基于所述采样图像组中所包含的样本视频帧， 构建与所述样本视频对 应的数据集。 12.一种计算机设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所 述处理器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通 过总线通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至10任一项所述的 数据集构建方法的步骤。 13.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至10任一项所述的数据集构建方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115019127 A 3