(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210841387.8 (22)申请日 2022.07.18 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 申请人 湖北江城实验室 (72)发明人 李祎　吴晨旭　缪向水　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 专利代理师 刘娅婷　张彩锦 (51)Int.Cl. G06T 1/60(2006.01) G06T 5/00(2006.01) G06F 17/16(2006.01) G06F 17/18(2006.01)G06V 10/74(2022.01) G06V 10/772(2022.01) H03M 1/12(2006.01) H03M 1/66(2006.01) (54)发明名称 一种基于非易失存储器的前向梯度回归加 速器及操作方法 (57)摘要 本发明公开了一种基于非易失存储器的前 向梯度回归加速器及操作方法， 该前向梯度回归 加速器包括控制模块、 存内处理模块和运算模 块； 控制模 块， 包括DRAM存储器， 用于保存 运算数 据， 并向存内处理模块和运算模块传输相应指令 和数据； 存内处理模块， 包括非易失存储器阵列， 用于为前向梯度回归计算残差向量和回归变量 之间的余弦相似度， 并将运算结果传输给控制模 块； 运算模块用于接收控制模块的指令和数据， 完成数据映射的运算并用于更新回归系数和残 差向量。 本发明采用非易失存储器阵列以0(1)的 方式执行大规模矩阵向量乘法运算， 配合DRAM存 储器备份数据执行数值迭代算法， 在实现加速求 解前向梯度回归问题的同时， 可确保计算精度。 权利要求书2页 说明书8页 附图2页 CN 115239546 A 2022.10.25 CN 115239546 A 1.一种基于非易失存储器的前向梯度回归加速器， 其特征在于， 包括控制模块、 存内处 理模块和运 算模块， 其中， 控制模块， 包括DRAM存储器和第一控制单元， DRAM存储器用于存储待求解前向梯度 回 归问题所需的数据及存内处理模块和运算模块返回的数据， 第一控制单元用于根据待求解 前向梯度回归问题控制DRAM存储器向存内处理模块和运算模块传输相应的数据和指 令， 所 述数据包括变量矩阵、 残差向量和回归系数， 所述指令包括数据映射指令和更新指令， 更新 指令为DRAM存 储器每次接收到存内处 理模块返回的数据时传输； 运算模块， 包括逻辑运算单元和第三控制单元， 第三控制单元用于根据所述数据映射 指令、 变量矩阵、 残差向量对应控制逻辑运算单元完成变量矩阵和残差向量的数据映射， 同 时还用于根据更新指 令判断与所述残差向量最相关的变量， 根据该变量控制逻辑运算单元 完成残差向量和回归系数的数值更新， 并将更新后的数值传输 至DRAM存 储器； 存内处理模块， 包括第二控制单元和矩阵运算单元， 矩阵运算单元包括非易失存储器 阵列、 DAC转换器、 跨阻放大器和ADC转换器， 第二控制单元用于将数据映射后的变量矩阵的 每个元素对应编码为非易失存储器阵列中两非易失存储器之间的电导差； DAC转换器用于 将每一次更新后的残差向量数值转化电压并输入至非易 失存储器阵列， 并使非易 失存储器 阵列完成残差向量和变量矩阵中回归变量之间的乘加运算， 跨阻放大器和ADC转换器用于 将该运算结果数据进行模数转换后发送至DRAM存 储器。 2.根据权利要求1所述的基于非易失存储器的前向梯度回归加速器， 其特征在于， 非易 失存储器包括阻变存储器、 相变存储器、 NOR  FLASH存储器、 自旋转移力矩存储器或铁电场 效应晶体管。 3.根据权利要求1所述的基于非易失存储器的前向梯度回归加速器， 其特征在于， 所述 逻辑运算单元包括加减法运 算电路和乘除法运 算电路。 4.根据权利要求1所述的基于非易失存储器的前向梯度回归加速器， 其特征在于， 所述 待求解前向梯度回归问题包括特 征选择、 稀疏编码、 匹配追踪或稀疏估计问题。 5.一种基于权利要求1～4任一项所述的基于非易失存储器的前向梯度回归加速器的 操作方法， 其特 征在于， 包括如下步骤： (1)当需要对待求解前向梯度回归问题进行求解时， 第一控制单元根据待求解前向梯 度回归问题从预先存储的算法指令集中选取目标指 令集， 并将目标指 令集中的数据映射指 令和变量矩阵从DRAM存储器传输给第三控制单元， 第三控制单元对应通过控制逻辑运算单 元完成对该变量矩阵的数据映射处理， 之后将数据映射处理后的变量矩阵通过第一控制单 元传输至第二控制单元， 最后由第二控制单元将该初始 化处理的变量矩阵的每个元素编码 为非易失存 储器阵列中两非易失存 储器之间的电导差； (2)第一控制单元将目标指令集中的数据映射指令和残差向量从DRAM存储器传输给第 三控制单元， 第三控制单元通过逻辑控制运算单元完成残差 向量的数据映射， 之后将数据 映射后的残差向量通过第一控制单元传输至存内处理模块， 由存内处理模块中的DAC转换 器将其转换为电压并输入至非易 失存储器阵列， 接着由非易 失存储器阵列完成残差向量和 变量矩阵中回归变量之间的乘加运算， 然后由跨阻放大器和ADC转换器将该运算结果转换 为数字信号， 并由第二控制单元将该运算结果发送至第一控制单元， 由第一控制单元传输 至DRAM存 储器进行保存；权　利　要　求　书 1/2 页 2 CN 115239546 A 2(3)第一控制单元将接收到的运算结果后， 向运算模块发送更新指令和运算结果， 由运 算模块判断运算结果中绝对值最大值， 该最大值对应的变量即为与残差向量最相关的变 量， 然后再由运算模块使用一个步长的该变量来更新残差向量， 并更新回归系数； 最后由第 三控制单元将更新后的残差向量和回归系数发送至第一控制单元， 由第一控制单元传输至 DRAM存储器进行保存； (4)第一控制单元判断迭代次数是否达到上限或残差向量的L2范数是否低于阈值， 若 否， 重复上述步骤(2)～(4)， 直到第一控制单元判断迭代次数达到上限或残差向量的L2范 数低于阈值， 则完成待求 解前向梯度回归问题的求 解。 6.根据权利要求5所述的基于非易失存储器的前向梯度回归加速器的操作方法， 其特 征在于， 所述残差向量初始化映射数据为输入信号， 所述回归系数初始化 为0。 7.根据权利要求5所述的基于非易失存储器的前向梯度回归加速器的操作方法， 其特 征在于， 步骤(2)中， 所述残差向量的初始化映射方法为： 计算残差向量中所有向量元 素的绝对值的平均值； 在0附近等间隔的取点对应映射各向量元 素， 所述间隔根据所述平均值进行设置 。 8.根据权利要求5所述的基于非易失存储器的前向梯度回归加速器的操作方法， 其特 征在于， 步骤(2)中， 第三控制单元根据待求解前向梯度回归问题的类型完成残差向量的数 据映射； 当求解特征选择问题时， 所述残差向量是输入信号与重 建信号中所有 元素的差值； 当求解基于稀疏编 码的图像修复问题时， 残差向量是输入信号与重 建信号中所有非零元素 的差值。 9.根据权利要求5所述的基于非易失存储器的前向梯度回归加速器的操作方法， 其特 征在于， 步骤(3)中， 所述运算模块使用一个步长的该变量来更新残差向量， 并更新回归系 数的方法， 具体为： 根据残差向量和该变量的乘加运算结果的正负性来更新残差向量， 当为正时， 令残差 向量减去一个步长的该变量， 为负时， 令残差向量加上一个步长的变量； 根据残差向量和该变量的乘加运算结果的正负性来更新回归系数， 当为正时， 令回归 系数加上一个步长， 为负时， 令回归系数减去一个步长 。 10.根据权利要求5所述的基于非易失存储器的前向梯度回归加速器的操作 方法， 其特 征在于， 步骤(4)中， 每间隔两次或两次 以上迭代后， 第一控制单元再判断残差向量的L2范 数是否低于阈值。权　利　要　求　书 2/2 页 3 CN 115239546 A 3