(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210827709.3 (22)申请日 2022.07.14 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 王丽娟　陈俊雄　尹明　郝志峰　 蔡瑞初　陈炳丰　温雯　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/74(2022.01) G06F 17/16(2006.01) G06V 10/762(2022.01) G06V 10/774(2022.01) (54)发明名称 基于嵌入特征提取的多视图一致性图像聚 类方法及系统 (57)摘要 本发明提出一种基于嵌入特征提取的多视 图一致性图像聚类方法及系统， 涉及多视图图像 数据聚类处理的技术领域， 通过对原始多视图数 据的数据矩阵进行处理， 获取每个视图的样本嵌 入和特征嵌入， 对每个视图的特征嵌入进行群稀 疏约束， 实现对原始多视图数据特征嵌入的降 噪， 再通过二部图将原始多视图数据的特征嵌入 和样本嵌入相连接进行特征提取， 嵌入知识通过 二部图在特征嵌入和样本嵌入之间传递， 相互促 进充分学习视图内的信息， 包含在数据特征中的 冗余信息和噪声的影响被有效消除， 以最大限度 提高模型对多视图数据的一致性学习， 从而使 得 最终学习的一致性图能够更加准确， 在最后的一 致性图对应的拉普拉斯矩 阵上加上秩约束从而 直接的到聚类结果。 权利要求书3页 说明书9页 附图2页 CN 115170843 A 2022.10.11 CN 115170843 A 1.一种基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在于， 所述方法包括 以下步骤： 确定原始 的多视图数据矩阵， 基于多视 图数据矩阵中的样本元素， 构建每个视 图的相 似度矩阵； 根据每个视 图的相似度矩阵计算每个视 图的拉普拉斯矩阵， 基于拉普拉斯矩阵， 求取 每个视图的样本嵌入； 对原始的多视图数据矩阵做奇异值分解， 得到每个视 图的左奇异矩阵， 基于每个视 图 的左奇异 矩阵构造每 个视图的特 征嵌入； 对每个视图的特征嵌入进行群稀疏约束， 并通过二部图将样本嵌入和特征嵌入连接在 一起进行特征提取； 基于每个视图的样本嵌入组成块对角矩阵， 通过代价函数对块对角矩阵进行一致性图 学习， 再对一 致性图进行秩约束； 将特征提取与一致性图学习整合到统一的学习框架， 得到目标函数并求解， 得到一致 性图； 从一致性图中确定连通分量， 得到图像聚类结果。 2.根据权利要求1所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 设原始的多视图数据矩阵表示为 其中， dv表示第v个视图的特征维度， n表示原始数据的样本个数， V 表示视图个数， X(v)表示原始的多视图数据矩阵； 设 表示第v个视图的第i个样本元素， 采用K近邻算法构造每个视图的相似度矩阵， 每 个视图的相似度矩阵表示为Wv， 由 组成， 表示第v个视图中第i个样本和第j个样本之 间的相似度， 公式为： 其中， 表示与第v个视图中第j个样本欧氏距离最近的k个样本的集 合。 3.根据权利要求2所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 根据计算每 个视图的拉普拉斯矩阵的过程 为： S11.求取第v个视图的相似度矩阵对应的度矩阵； 设度矩阵表示 为Dv， 表达式为： S12.基于度矩阵与每个视图的相似度矩阵， 计算每个视图的拉普拉斯矩阵， 计算表达 式为： Lv＝Dv‑Wv。 4.根据权利要求3所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 基于拉普拉斯矩阵， 求取每个视图的样本嵌入时， 对拉普拉斯矩阵使用标准聚类算法， 设H(v)表示第v个视图的样本嵌入， 构建优化模型为：权　利　要　求　书 1/3 页 2 CN 115170843 A 2其中， tr()表示(H(v))TL(v)H(v)矩阵的迹， (H(v))T表示第v个视图的样本嵌入的转置， n表 示样本个数， c表示聚类 个数， I表示单位矩阵， 然后求 解出样本嵌入H(v)。 5.根据权利要求4所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 对原始的多视图数据矩阵做奇异值分解的表达式为： 其中， U(v)表示每个视图原始数据矩阵的左奇异矩阵， dv表示第v个视图的 特征维度； ∑(v)为每个视图原始数据矩阵的奇异值组成的对角矩阵， E(v)为每个 原始的视图数据矩阵的右奇异值矩阵， 基于每个视图的左奇异矩阵构造每个视图的特征嵌入时， 取U(v)的前c个特征向量构造 每个视图的特 征嵌入A(v)， 6.根据权利要求5所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 利用2， 1范数对每个视图的特征嵌入进 行群稀疏约束， 并通过二部图将样本嵌入和特征 嵌入连接在一 起进行特征提取， 过程表达式满足： 其中， || ||2， 1表示2， 1范数； A(v)为第v个视图的特征嵌入， dv表示第v个视 图的特征维度； X(v)为第v个视图的原始数据矩阵， n为样本个数； H(v)为第v个视 图的样本嵌入， c为聚类个数。 7.根据权利要求6所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 将样本嵌入H(v)与样本嵌入转置(H(v))T相乘得到块对角矩阵 通过代价函数 对块对角矩阵进行一 致性图学习， 再对一 致性图进行秩约束的过程满足： s.t.S≥0， S1＝1， ran k(LS)＝n‑c 其中， LS表示一致性图S对应的拉普 拉斯矩阵， rank(LS)＝n‑c表示对拉普拉斯矩阵的秩 约束为n‑c； 表示F范数； β1为规模常数。 8.根据权利要求7所述的基于嵌入特征提取的多视图一致性图像聚类方法， 其特征在 于， 所述的目标函数为： 约束条件 满足： 其中， β1为规模常数， β2正则化参数， β3为权衡因子；权　利　要　求　书 2/3 页 3 CN 115170843 A 3