(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210570531.9 (22)申请日 2022.05.24 (71)申请人 中国科学院光电技 术研究所 地址 610209 四川省成 都市双流3 50信箱 (72)发明人 郭弘扬　王子豪　徐扬杰　唐薇　 黄永梅　贺东　王强　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 邓治平 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络的自监督扩展目标 像差探测方法 (57)摘要 本发明公开了一种基于卷积神经网络的自 监督扩展目标像差探测方法， 首先， 利用物理模 型提取出扩展目标中的像差信息， 然后将提取的 像差信息输入 卷积神经网络中， 利用其非线性拟 合的能力建立图像与Zernike系数的映射关系， 然后利用Zernike系数与光学 成像模型重建像差 信息， 并依据输入像差特征与光学模 型输出像差 特征之间的相似度计算损失函数实现自监督学 习。 测试过程中， 可采集已知离焦量的系统中的 在焦面与离焦面扩展目标的图像输入到已经训 练好的无监督网络中， 输出所需要的相位信息。 该种方法在 物理模型阶段消除了原目标特征， 可 实现对多种目标的普适性探测， 在扩展目标种类 变换与实际应用过程中无法获得准确标签的情 况下具有更好的实用性。 权利要求书2页 说明书5页 附图2页 CN 115019125 A 2022.09.06 CN 115019125 A 1.一种基于卷积神经网络的自监督扩展目标像差探测方法， 其特征在于： 该方法包括 如下步骤： 步骤一、 利用物理光学成像模型生成扩展目标在湍流影响下的图像； 步骤二、 使用步骤一中的图像， 再利用物理模型提取 出像差特 征； 步骤三、 建立卷积神经网络像差 探测模型； 步骤四、 根据生成的像差特征， 进行扩展目标的像差自监督神经网络训练； 扩展目标的 像差自监督神经网络主要由神经网络与光学成像模型组成， 其中神经网络使用Mobilenet V2， 光学模块实现神经网络解 算像差到对应像差特征的转换； 步骤五、 通过成像模型生成大量数据并训练之后， 网络可以根据输入由成像探测器采 集到的在 焦与离焦图像输出Zern ike系数， 实现像差 探测。 2.根据权利要求1所述的一种基于卷积神经网络的自监督扩展目标像差探测方法， 其 特征在于： 不需要成像探测器临 时采集大量的用于构成数据集的图像， 具体方式为： 利用光 学成像模型生成在湍流影响下的样本， 具体模型如下： 系统中的广义 光瞳函数P(u,v)如下： P(u,v)＝O(u,v)e2 π iφ(u,v) (1) 其中， O(u,v)是孔径函数， φ(u,v)是待测像差， 通常表示为Zernike多项式的加权组 合， u是光瞳平面的横坐标， v是光瞳平面的纵坐标， 对于离焦位置的平面图像可以等效为在 波前信息上 添加了一个附加相位， 该附加相位具体表示如下： 其中， d代表焦点位置的偏移量， f为成像透镜的焦距。 离焦图像的离焦距离需已知， 取1 ～3mm； k是与波长相关的常数； 光学系统的点扩散函数为： psf(u,v)＝|F FT(P(u,v) )|2 (3) 其中， FFT代表傅里叶变换算子， P则表示广义光瞳函数， 光学系统的点扩散函数为广义 光瞳函数的傅里叶变化后的与其复共 轭的乘积。 3.根据权利要求1所述的一种基于卷积神经网络的自监督扩展目标像差探测方法， 其 特征在于： 可由物理模型生 成自监督学习网络所需要的训练、 测试数据， 其中卷积神经网络 使用轻量级的Mobilenet V2网络， 其在准确率小幅下降的前提下大大减少模 型参数与运算 量， 具体结构如下： 1)Mobilenet V2结构首先是卷积核大小为3x3的卷积， 之后是多层Depthwise separable convolution， 其中包括Depthwise convolution(DW卷积)与Pointwise convolution(PW卷积)其中DW传统卷积区别在于它的每一个卷积核深度为1也就是与输入 矩阵的一个通道对应， 大大降低了运算过程中参数的数量， 而PW卷积则是卷积核 大小为1的 传统卷积； 2)Mobilenet还引入了两个超参Width Mulitiplier( α )以及Resolution Multiplier (β )， 其中α代表卷积核个数的倍率， 可以控制卷积过程中采用卷积核的个数， β则是输入图 像分辨率的一个参数； 3)Mobilenet V1由于在训练过后发现许多层的参数为零， 故Mobilenet V2相对于权　利　要　求　书 1/2 页 2 CN 115019125 A 2Mobilenet V1新增加了Inverted Residuals(倒残 差结构)和Linear Bottlenecks， 通过更 新原来的激活函数以及改变残差结构为先增维再降维将网络的计算量大幅减少并且增加 了准确率； 4)为了将网络适配到扩展目标的像差探测 将分类使用的softmax输出层修改为全连接 层， 输出所需波前参数。 4.根据权利要求1所述的一种基于卷积神经网络的自监督扩展目标像差探测方法， 其 特征在于： 可以根据现有数据集进行自监督训练， 不需要实时采集数据集并且消除了对于 标签的依赖： 1)自监督扩展目标像差探测网络主要由三部分组成包括： 卷积网络编码、 特征传递以 及物理解码； 2)卷积网络编码部分主 要由Mobi lenet构成： 包 含若干卷积层与全连接层； 3)物理解码部分则利用光学模型以及成像原理， 实现重建像差特征， 输出比对； 光学成 像函数如公式(4)： i＝o*psf (4) 其中i为最终成像， o 为原目标图像， psf为 光学系统的点扩散函数； 傅里叶变换之后在 焦与离焦情况 下可以获得如下公式： If＝O·OTFf (5) Id＝O·OTFd (6) 其中， If、 Id为原在焦与离焦 图像的傅里叶变换， O为原目标图像的傅里叶变换， OTFf、 OTFd为在焦与离焦的光学传递 函数， 为相应光学传递 函数傅里叶变换 所得； 将两个公式做如下运 算可得到与像差有关而与原目标 无关的特 征s： 4)训练过程： 将卷积网络编码的特征通过解码， 根据比对前后特征之间的相似度计算 损失， 例如计算输入输出的相似度或者相关性 来实现网络的自我监 督； 相似度损失函数为相关系数， 可以描述 为： 其中， Amn和Bmn是两个光斑图像的像素值， 和 分别是Amn和Bmn的平均值， m和n分别代表 横向与纵向的像素 数。 5.根据权利要求1所述的一种基于卷积神经网络的自监督扩展目标像差探测方法， 其 特征在于： 在利用现有 数据集进 行训练之后， 在实验系统中验证网络实际效果时， 包括如下 两个步骤： 1)测试过程中， 将 实际系统采集到的在焦图像与离焦图像同属输入到已经训练好的自 监督网络中； 2)利用网络的非线性拟合， 得到映射关系， 实现扩展目标的像差 探测。权　利　要　求　书 2/2 页 3 CN 115019125 A 3