(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210623199.8 (22)申请日 2022.06.01 (71)申请人 东莞理工学院 地址 523000 广东省东莞 市松山湖科技产 业园区大 学路1号 (72)发明人 林盛鑫　刘华珠　陈雪芳　赵晓芳　 欧超超　 (74)专利代理 机构 北京汇彩知识产权代理有限 公司 11563 专利代理师 李艳杰 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/74(2022.01) G06V 40/16(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 21/4415(2011.01) H04N 21/442(2011.01) H04N 21/4788(2011.01) (54)发明名称 一种面向智能电视的儿童 监控方法 (57)摘要 本发明公开了一种面向智能 电视的儿童监 控方法， 包括： 智 能电视自动识别儿童的表情识 别算法与跌倒检测算法； 在智 能电视播放期间， 当儿童在沙发、 桌子上乱跳时， 可能会发生危险， 此时系统会通过app应用发出提醒给家长注意安 全； 当儿童在观 看节目过程中如果看到惊吓的内 容， 算法会自动识别出儿童的表情， 并自动切换 节目或关闭电视， 同时系统会通过app应用发出 提醒给家长。 当 儿童在客厅范围内因为某些原因 摔倒时， 系统会识别儿童的跌倒， 并进一步判断： 如果儿童的表情是疼痛或哭泣， app应用会立马 发送警报通知家长； 如果摔倒后没哭， 或者表情 正常， 则只会在系统中做一个记录， 家长可通过 app应用内的跌倒监测模块中查看儿童的摔倒记 录。 权利要求书4页 说明书14页 附图4页 CN 115240127 A 2022.10.25 CN 115240127 A 1.一种面向智能电视的儿童 监控方法， 其特 征在于包括： 智能电视自动识别儿童的表情识别算法与跌倒检测算法； 所述表情识别算法的流 程如下： 步骤一： 骨干网提取基本卷积神经网络的特 征； 步骤二： 功能分解网络将基本特 征分解为一组面部潜在特 征； 步骤三： 功能重建网络， 学习每一个潜在特征的特征内关系权重和特征间关系权重， 之 后构建总体的表现特 征； 步骤四： 表情预测网络用于预测出输入图片对应的表情标签； 所述跌倒检测算法的流 程如下： 步骤一： 将整个图像作为卷积神经网络的输入进行 联合预测； 步骤二:人体部位检测的置信度映射； 步骤三： 用PAFs将人体部位关联； 步骤四： 解析步骤执 行一组二部匹配以关联正文部分候选者； 步骤五： 将它 们组合成全身 姿势， 供图像中的所有人使用。 2.按照权利要求1所述的一种面向智能电视的儿童监控方法， 其特征在于： 所述表情识 别算法的流程步骤二具体步骤为： 对于给定的第i张人脸图像， 将由骨干网络提取的基础特 征定义为xi∈RP,其中P表示的是基础特征的维度， FDN功能分解网络将基础特征分解为一系 列面部动作感知潜在特征， 令Li＝[Ii， 1， Ii， 2， ...， Ii， M]∈RD×M， 它表示的是一个潜在特征矩 阵， 其中Ii， j代表的是第i张人脸图像的第j个潜在特征， D代表的是每个特征的维度， M代表 的是特征的数量； 采用了全连接层加激活函数的方式来 提取相应的潜在特 征， 具体的表达式如下： 其中 代表的是全连接层的权 重参数， σ1代表的是ReLU激活函数； Compactness  Loss学习了相同潜在特征的中心， 并计算这些潜在 特征与它们对应的中 心之间的距离， 具体的表达式如下： 其中N表示的是在一个小批量中图片的数量， cj代表的是第j类潜在特 征的中心。 3.按照权利要求1所述的一种面向智能电视的儿童监控方法， 其特征在于： 所述表情识 别算法的步骤三具体步骤为： 获取具有不同表情特征的特征重构网络包括特征间关系建模 模块,所述特征间关系建模模块由多个特征内关系建模块所构成， 这些块将会建立内部特 征与特征元素之间的关系， 每一个bl ock是由全连接层和非线性激活函数 所组成的， 具体的表达式如下： 其中αi， j代表的是第j类潜在特征与第i张人脸图像相关性的权重， 代表的是全连权　利　要　求　书 1/4 页 2 CN 115240127 A 2接层的参数， σ2代表的是非线性激活函数； 通过表达式(3)， 计算出αi， j的L1范数并将它作为决定第j类潜在特征重要性的特征内 关系权重， 具体的表达式如下： αi,j＝|αi,j|1 forj＝1， 2， …， M，    (4) Distribution  Loss学习各类表情的中心并计算来自同一类别的Intra ‑Ws与对应的中 心的距离， 假设第i张人脸图像属于第ki类表情， 则Dist ribution Loss的表达式如下 所示： wi＝[αi， 1， αi， 2，…， αi， M]T代表的是第i张人脸图片的Intra ‑W向量， 表示的是第ki类表情 的类别中心； Balance Loss平衡Intra‑W向量的分布， 表达式如下： 代表的是一个块样本中Intra ‑W的均值所构成的向量， 代表的是一个均匀分布的权 重向量； 在计算每个潜在特征的Intra ‑W后将这些权重与对应的特征相乘， 便获得了相应的第i 张图片的i ntra‑aware特征， 具体的表达式如下： fi， j＝αi， jli， j for j＝1， 2，…， M，    (7) 其中fi， j代表的是第i张图片的第j个i ntra‑aware特征。 4.按照权利要求1所述的一种面向智能电视的儿童监控方法， 其特征在于： 所述表情识 别算法的步骤三具体步骤为： 获取具有不同表情特征的特征重构网络包括特征间关系建模 模块， 所述特征间关系建模模块学习一组关系信息并估计这些信息 之间的Inter ‑Ws， 首先， 将fi， j输入进一个信息网络进行特征编码， 本发明中信息网络由全连接层与线性激活函数 所构成， 具体的表达式如下： 其中 表示的是全连接层的权 重参数， σ1代表的是线性激活函数， gi， j表示的是第i张 图片的第j个关系信息； 将相应的关系信息拼接成为一个关系信息矩阵Gi＝[gi， 1， gi， 2，…， gi， M]， 将该矩阵作为 图G(Gi， E)的节点， G是一套完整的无向图， E代表的不 同关系消息之间的关系， ωi(j， m)是 Inter‑W， 它代表的是节点gi， j与节点gi， m之间的关系重要性， 具体的计算式如下： 其中gi， j和gi， m分别代表第i张图片的第j个和第m个关系信息； S是一个用于评估gi， j和 gi， m相似性的函数， 在本发明中采用的是欧式距离函数， 由于S的计算结果都为 非负的， 进一 步采用双曲正切函数σ3来将距离值标准 化至[0,1)区间；权　利　要　求　书 2/4 页 3 CN 115240127 A 3