(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210585741.5 (22)申请日 2022.05.27 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 袁宏进　曾凡涛　刘玉宇　肖京　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 沈克琪 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/26(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01)G06N 20/00(2019.01) (54)发明名称 基于面审视频的欺诈预警方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及大数据技术领域， 公开了一种基 于面审视频的欺诈预警方法、 装置、 设备及存储 介质。 本方法包括： 通过将获取的将面审图像进 行背景分割， 得到背景面审图像， 并对背景面审 图像进行特征提取， 得到特征背景图像； 计算特 征背景图像与面审黑背景图像库中的历史图像 特征之间的第一相似度和与预设面审白名单特 征库中图像的第二相似度， 并基于第一相似度和 第二相似度从特征背景图像中得到第一预警背 景图像和第二预警背景图像； 对该第一、 第二预 警背景图像进行聚合， 并根据聚合结果对面审场 景进行识别检测， 根据检测结果进行预警。 本方 案通过历史数据寻找潜在的团伙欺诈案件的场 景， 解决了欺诈场景识别的准确率低的技术问 题， 降低无效场景的虚警率。 权利要求书3页 说明书17页 附图6页 CN 115063612 A 2022.09.16 CN 115063612 A 1.一种基于面审视频的欺诈预警方法， 其特征在于， 所述基于面审视频的欺诈预警方 法包括： 获取面审视频， 并对所述 面审视频进行提取， 得到面审图像； 将所述面审图像输入预设人像背景分割模型进行背景分割， 得到背景面审图像， 并对 所述背景面审图像进行 特征提取， 得到所述背景面审图像的特 征背景图像； 计算所述特征背景图像与预设面审黑背景图像库中的历史图像特征之间的第一相似 度， 从所述特征背景图像中选取所述第一相似度大于预设阈值的图像， 得到第一预警背景 图像； 计算所述特征背景图像与 预设面审白名单特征库中图像的第 二相似度， 并基于所述第 二相似度从所述特 征背景图像中得到第二预警背景图像； 对所述第一预警背景图像和所述第二预警背景图像进行聚合， 得到多模态特征向量， 并将所述多模态特征向量输入预先训练好的欺诈检测模型进 行欺诈检测， 根据欺诈检测结 果进行预警。 2.根据权利要求1所述的基于面审视频的欺诈预警方法， 其特征在于， 所述获取面审视 频， 并对所述 面审视频进行提取， 得到面审图像， 包括： 当进行面审时， 基于预设音频采集设备接收面审视频， 获取 所述面审视频的总帧数； 基于所述总帧数， 从所述 面审视频中提取每 个帧数对应的图像， 得到面审图像。 3.根据权利要求1所述的基于面审视频的欺诈预警方法， 其特征在于， 所述人像背景分 割模型包括图像分割网络和背 景图像识别网络， 所述将所述面审图像输入 预设人像背 景分 割模型进行背景分割， 得到背景面审图像， 包括： 将所述面审图像输入预设人像背景分割模型中的图像分割网络， 通过所述图像分割网 络对所述面审图像进 行人像分割， 得到人像分割图像， 其中， 所述人像 分割图像包括人像图 像和非人像图像； 对所述人像分割图像进行面部识别， 得到包含面部的人像图像和不包含面部的非人像 图像； 将所述不包含面部的非人像图像输入所述人像背景分割 模型中的背景图像识别网络， 通过所述背景图像识别网络对所述 不包含面部的非人像图像进行识别， 得到背景图像。 4.根据权利要求1所述的基于面审视频的欺诈预警方法， 其特征在于， 所述对所述背景 面审图像进行 特征提取， 得到所述背景面审图像的特 征背景图像， 包括： 将所述背景面审图像输入预设图像特征提取模型的卷积层， 通过所述图像特征提取模 型的卷积层对所述背景面审图像进行 卷积操作， 得到初始背景 特征图； 将所述初始背景特征图所述图像特征提取模型的批标准层， 通过所述批标准层对所述 初始背景 特征图进行 标准化， 得到标准背景 特征图； 基于所述图像特 征提取模型的激活函数输出 所述标准背景 特征图； 对所述标准背景 特征图进行多尺度特 征融合， 得到特 征背景图像。 5.根据权利要求3所述的基于面审视频的欺诈预警方法， 其特征在于， 所述通过所述图 像分割网络对所述 面审图像进行 人像分割， 得到人像分割图像， 包括： 将所述面审图像输入所述图像分割网络 中的卷积层， 通过所述卷积层对所述面审图像 进行卷积处理， 生成卷积图像；权　利　要　求　书 1/3 页 2 CN 115063612 A 2基于所述图像分割网络中的金字塔池化层对所述卷积图像进行降维处 理； 通过所述图像分割网络 中的全连接层输出降维后的卷积图像， 得到所述面审图像的人 像分割图像， 其中， 所述人像分割图像包括包含面部的人像图像和不包含面部的非人像图 像。 6.根据权利要求3所述的基于面审视频的欺诈预警方法， 其特征在于， 所述通过所述背 景图像识别网络对所述 不包含面部的非人像图像进行识别， 得到背景图像， 包括： 将所述不包含面部的非人像图像输入所述背景图像识别网络 中的采样层， 通过所述采 样层对所述 不包含面部的非人像图像进行 上采样， 得到采样图像； 基于所述背景图像识别网络中的编码器对所述采样图像进行背景编码， 得到背景编码 图像； 通过所述背景图像识别网络中的解码器对所述背景编码图像进行序列解码， 得到背景 图像。 7.根据权利要求1所述的基于面审视频的欺诈预警方法， 其特征在于， 所述将所述多模 态特征向量输入预先训练好的欺诈检测模型进 行欺诈检测， 根据欺诈检测结果进 行预警之 前， 还包括： 从所述视频样本提取图像数据样本， 并获取提取图像数据样本的图像样本特 征向量； 将图像样本特 征向量以及样本图像特 征向量进行合并， 得到样本 视频特征向量； 根据所述样本视频特征向量以及所述视频样本对应的欺诈标签， 对机器学习 模型进行 训练， 得到欺诈检测模型。 8.一种基于面审视频的欺诈预警装置， 其特征在于， 所述基于面审视频的欺诈预警装 置包括： 提取模块， 用于获取面审视频， 并对所述 面审视频进行提取， 得到面审图像； 分割模块， 用于将所述面审图像输入预设人像背景分割模型进行背景分割， 得到背景 面审图像， 并对所述背景面审图像进行 特征提取， 得到所述背景面审图像的特 征背景图像； 第一计算模块， 用于计算所述特征背景图像与 预设面审黑背景图像库中的历史图像特 征之间的第一相似度， 从所述特征背景图像中选取所述第一相似度大于预设阈值的图像， 得到第一预警背景图像； 第二计算模块， 用于计算所述特征背景图像与 预设面审白名单特征库中图像的第 二相 似度， 并基于所述第二相似度从所述特 征背景图像中得到第二预警背景图像； 聚合模块， 用于对所述第一预警背景图像和所述第二预警背景图像进行聚合， 得到多 模态特征向量， 并将所述多模态特征向量输入预先训练好的欺诈检测模型进行欺诈检测， 根据欺诈检测结果进行 预警。 9.一种基于面审视频的欺诈预警设备， 其特征在于， 所述基于面审视频的欺诈预警设 备包括： 存储器和至少一个处理器， 所述存储器中存储有指 令， 所述存储器和所述至少一个 处理器通过线路互连； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述基于面审视频的欺诈 预警设备 执行如权利要求1 ‑7中任一项所述的基于面审视频的欺诈预警方法的各个步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处理器执行时实现如权利要求1 ‑7中任一项所述的基于面审视频权　利　要　求　书 2/3 页 3 CN 115063612 A 3