(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629966.6 (22)申请日 2022.06.06 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈晋音　李明俊　刘涛　李荣昌　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于个性化联邦学习的面部识别方法 和装置 (57)摘要 本发明公开了一种基于个性化联邦学习的 面部识别方法和装置， 获取用户的面部图像数 据， 将所述面部图像数据输入最佳面部识别模型 中， 得到面部识别结果； 个性化模型对上传的本 地模型参数进行余弦相似度计算， 对自身的全局 模型参数进行更新， 并将更新后的全局模型参数 下发给相对应的客户端， 实现在 进行客户端分组 的时候， 将数据分布极端异常的客户端进行隔 离， 数据分布具有相似性的客户端会进行协作。 该方法对恶意攻击方具有良好的防御作用， 利用 个性化机制进行训练， 逐渐将恶意客户端与正常 客户端进行分离， 聚合不同的全局模型， 减少彼 此之间的影响， 实现对面部的识别。 权利要求书2页 说明书6页 附图3页 CN 114882573 A 2022.08.09 CN 114882573 A 1.一种基于个性 化联邦学习的面部识别方法， 其特 征在于， 包括以下步骤： (1)获取用户的面部图像数据； (2)将所述面部图像数据输入最佳面部识别模型中， 得到面部识别结果； 其中， 最佳面 部识别模型的生成包括以下子步骤： a)初始化联邦学习训练环境； b)服务器在 云端为每个客户端设置相对应的个性化模型， 每个个性化模型将自身的全 局模型参数 下发给相对应的客户端， 开始联邦学习训练； c)每个客户端对下发的全局模型参数进行本地训练， 并将训练好的本地模型参数上传 给相对应的个性 化模型； d)个性化模型对上传的本地模型参数进行余弦相似度计算， 对自身的全局模型参数进 行更新， 并将更新后的全局模型参数 下发给相对应的客户端； e)重复步骤(b) ‑步骤(d)， 直到全局模型收敛 结束联邦学习； f)联邦学习结束后， 对所有的个性化模型进行精度计算， 将精度最高的个性化模型作 为最佳面部识别模型。 2.根据权利要求1所述的基于个性化联邦学习的面部识别方法， 其特征在于， 所述步骤 a)具体为： 设定整体训练轮次E、 本地数据D、 参与联邦学习的整体客户端 数k， 每轮参与训练 的正常客户端数为 k1， 每轮参与训练的恶意 客户端数为 k2， k＝k1+k2。 3.根据权利要求2所述的基于个性化联邦学习的面部识别方法， 其特征在于， 所述步骤 b)包括以下子步骤： b1)服务器在云端为每个客户端Mi设置好相对应的个性化模型Ni， 并初始化每个个性化 模型Ni得到初始化的全局模型参数 b2)每个个性化模型Ni将初始化的全局模型参数 下发给相对应的客户端Mi， 开始联邦 学习训练。 4.根据权利要求3所述的基于个性化联邦学习的面部识别方法， 其特征在于， 所述步骤 c)包括以下子步骤： c1)参与训练的正常客户端， 每个客户端不进行数据共享， 在本地对下发的全局模型参 数 进行本地模型训练， 得到训练好的本地模型参数 上传给相对应的个性 化模型； c2)参与训练的恶意客户端， 每个客户端不进行数据共享， 在本地对下发的全局模型参 数 进行本地模型训练， 得到训练好的本地模型参数 上传给相对应的个性 化模型。 5.根据权利要求4所述的基于个性化联邦学习的面部识别方法， 其特征在于， 所述步骤 d)包括以下子步骤： d1)个性化模型Ni将相对应的客户端Mi上传的本地模型参数 与其他客户端Mj(j≠i) 上传的本地模型参数 进行余弦相似度计算， 并将计算的所有余弦相似度进行归一化处 理， 得到其 他客户端j的超参数 εj； 权　利　要　求　书 1/2 页 2 CN 114882573 A 2其中， 下标j表示第j个客户端， j＝1,2,. ..j,...k； εi为第i个客户端的超参数； 客户端之间的余弦相似度更 大， 则超参数 更大， 表示协作更多。 d2)将超参数 的其他客户端与该客户端Mi分为Kclass组， 所述Kclass组的客户端数量 为h， 个性化模型Ni对Kclass组内客户端上传的本地模型参数 进行加权聚合来对自身参数 进行更新， 得到更新后的全局模型参数 然后将更新后的全局模型参数 下发给客 户端Mi； 加权聚合过程 为 其中m＝1,2,. ..m,...h； d3)重复步骤d1) ‑步骤d2)， 直到所有个性化模型将更新后的全局模型参数下发给相对 应的客户端。 6.基于个性化联邦学习的面部识别装置， 其特征在于， 包括一个或多个处理器， 用于实 现权利要求1 ‑5中任一项所述的基于个性 化联邦学习的面部识别方法。 7.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时， 用于实现权利要求1 ‑5中任一项所述的基于个性 化联邦学习的面部识别方法。权　利　要　求　书 2/2 页 3 CN 114882573 A 3