(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210833400.5 (22)申请日 2022.07.14 (71)申请人 东北林业大 学 地址 150000 黑龙江省哈尔滨市香坊区和 兴路26号 (72)发明人 李琰　 (74)专利代理 机构 重庆宏知亿知识产权代理事 务所(特殊普通 合伙) 50260 专利代理师 陈康 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) G10L 25/63(2013.01) G06V 10/764(2022.01)G06F 40/30(2020.01) (54)发明名称 一种基于自然语言处理的图文情感分析系 统 (57)摘要 本发明提供一种基于自然语言处理的图文 情感分析系统， 涉及图文情感分析技术领域。 该 基于自然语言处理的图文情感分析系统， 包括图 文特征采集模块、 图文特征分析模块、 表情特征 识别模块、 图片特征识别模块、 文本特征识别模 块、 语音特征识别模块与特征融合分析模块， 所 述图文特征采集模块的输出端 通过HUR信号连接 图文特征分析模块。 通过特征除杂降噪单元对提 取的特征进行语音降噪， 文本错别字校正， 图片 阴影分离， 从图文所包含的多个特征数据进行提 取分析， 提高情感分析的准确度， 降低单一性， 静 态特征识别单元识别灰度均衡后的表情静态特 征从而找 寻到表情识别的中转点， 解决图文表情 识别需要面对大量表情特 征的难点。 权利要求书2页 说明书7页 附图4页 CN 115410061 A 2022.11.29 CN 115410061 A 1.一种基于自然语言处理的图文情 感分析系统， 包括图文特征采集模块(1)、 图文特征 分析模块(2)、 表情特征识别模块(3)、 图片特征识别模块(4)、 文本特征识别模块(5)、 语音 特征识别模块(6)与特征融合分析模块(7)， 其特征在于： 所述图文特征采集模块(1)的输出 端通过HUR信号连接图文特征分析模块(2)， 所述图文特征分析模块(2)包括表情特征识别 模块(3)、 图片特征识别模块(4)、 文本特征识别模块(5)与语音特征识别模块(6)， 所述图文 特征分析模块(2)的输出端通过HUR信号连接特 征融合分析模块(7)； 所述图文特征分析模块(2)包括图片特征接收单元(201)、 表情特征接收单元(202)、 文 本特征接收单元(203)、 语音特征接收单元(204)、 图文 特征数据库(205)与对应特征读取单 元(206)， 所述图片特征接收单元(201)、 表情特征接收单元(202)、 文本特征接收单元(203) 与语音特征接收单元(204)的输出端通过以太网信号连接图文特征数据库(205)， 所述图文 特征数据库(20 5)的输出端通过HUR信号连接对应特 征读取单元(206)。 2.根据权利要求1所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述图文特征采集模块(1)包括SVM数据采集单元(101)、 图片特征采集单元(102)、 表情特征 采集单元(103)、 文本特征采集单元(104)、 语音特征采集单元(105)、 特征除杂降噪单元 (106)与特征分类输出单元(107)， 所述SVM数据采集单元(101)分别包括图片特征采集单元 (102)、 表情特征采集单元(103)、 文本特征采集单元(104)与语音特征采集单元(105)， 所述 SVM数据采集单元(101)的输出端口通过HUR信号连接特征除杂降噪单元(106)， 所述特征除 杂降噪单 元(106)的输出端口通过HUR信号连接特 征分类输出 单元(107)。 3.根据权利要求1所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述表情特征识别模块(3)包括人脸特征读取单元(301)、 人脸特征曝光单元(302)、 特征灰度 均衡单元(303)、 静态特征识别单元(304)、 形变特征识别单元(305)、 表情情感分级单元 (306)， 所述人脸特征读取单元(301)的输入端通过以太网信号连接对应特征读取单元 (206)， 所述人脸特征读取单元(301)的输出端通过HUR信 号连接人脸特征曝光单元(302)， 所述人脸特征曝光单元(302)的输出端通过HUR信号连接特征灰度均衡单元(303)， 所述特 征灰度均衡单元(303)的输出端通过HUR信号连接静态特征识别单元(304)， 所述静态特征 识别单元(304)的输出端通过HUR信号连接形变特征识别单元(305)， 所述形变特征识别单 元(305)的输出端通过HUR信号连接表情 情感分级单 元(306)。 4.根据权利要求1所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述图片特征识别模块(4)包括图片特征读取单元(401)、 小波转换识别单元(402)、 色彩特征 识别单元(403)、 线条特征识别单元(404)与图片情感分级单元(405)， 所述图片特征读取单 元(401)的输入端通过 以太网信号连接对应特征读取单元(206)， 所述图片特征读取单元 (401)的输出端通过HUR信号连接小波转换识别单元(402)， 所述小波转换识别单元(402)的 输出端通过HUR信号连接色彩特征识别单元(403)， 所述色彩特征识别单元(403)的输出端 通过HUR信号连接线 条特征识别单元(404)， 所述线条特征识别单元(404)的输出端通过HUR 信号连接图片情感分级单 元(405)。 5.根据权利要求1所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述文本特征识别模块(5)包括文本特征采集单元(501)、 文本特征降维单元(502)、 词性特征 识别单元(503)、 句式特征识别单元(504)、 语义特征识别单元(505)与文本情感分级单元 (506)， 所述文本特征采集单元(501)的输入端通过以太网信号连接对应特征读取单元权　利　要　求　书 1/2 页 2 CN 115410061 A 2(206)， 所述文本特征采集单元(501)的输出端通过HUR信 号连接文本特征降维单元(502)， 所述文本特征降维单元(502)的输出端通过HUR信号连接词性特征识别单元(503)， 所述词 性特征识别单元(503)的输出端通过HUR信号连接句式特征识别单元(504)， 所述句式特征 识别单元(504)的输出端通过HUR信号连接语义特征识别单元(505)， 所述语义特征识别单 元(505)的输出端通过HUR信号连接文本情感分级单 元(506)。 6.根据权利要求1所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述语音特征识别模块(6)包括语音特征读取单元(601)、 语音翻译识别单元(602)、 韵律特征 识别单元(603)、 振幅特征识别单元(604)、 MFCC特征识别单元(605)与语音情感分级单元 (606)， 所述语音特征读取单元(601)的输入端通过以太网信号连接对应特征读取单元 (206)， 所述语音特征读取单元(601)的输出端通过HUR信 号连接语音翻译识别单元(602)， 所述语音翻译识别单元(602)的输出端通过HUR信号连接韵律特征识别单元(603)， 所述韵 律特征识别单元(603)的输出端通过HUR信号连接振幅特征识别单元(604)， 所述振幅特征 识别单元(604)的输出端通过HUR信 号连接MFCC特征识别单元(605)， 所述MFCC特征识别单 元(605)的输出端通过HUR信号连接语音情感分级单 元(606)。 7.根据权利要求1所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述特征融合分析模块(7)包括SVM特征融合单元(701)、 BP 模型生成单元(702)与情感等级识 别单元(703)， 所述SVM特征融合单元(701)通过以太网信 号连接BP模型生成单元(702)， 所 述BP模型生成单 元(702)的输出端通过HUR信号连接情感等级识别单 元(703)。 8.根据权利要求7所述的一种基于自然语言处理的图文情感分析系统， 其特征在于： 所 述SVM特征融合单元(701)的输入端通过HUR信号连接表情情感分级单元(306)、 图片情感分 级单元(405)、 文本情感分级单 元(506)与语音情感分级单 元(606)。权　利　要　求　书 2/2 页 3 CN 115410061 A 3