人脸表情识别是生物特征识别的重要组成部分,也是人机交互领域的一项关键技术。然而多数方法只关注正面或接近正面的人脸图像及视频,并限制了正常的头部运动,因此不利于人脸表情识别的智能化发展。有鉴于此,首先介绍了人脸检测、头部姿态估计、特征提取和分类的方法,以探索非正面人脸表情识别系统的发展;然后重点介绍了非正面人脸表情特征提取和分类的方法,并对基于人脸关键点的非正面人脸表情识别方法、基于外貌特征的非正面人脸表情识别方法及基于姿态相关的非正面人脸表情识别方法进行了比较分析;最后总结了非正面人脸表情识别方法的研究现状,并对进一步的研究和发展方向进行了展望。

多姿态人脸关键特征的自动识别,对处理人脸数据库中的图像具有重要意义。为了保证人脸关键特征被准确识别,需要对人脸关键特征进行提取。传统算法对多姿态人脸关键特征进行自动识别时有效性差、识别率低、效率低。为此,文中提出了一种基于向量机的多姿态人脸关键特征自动识别算法,利用相机的焦距将人脸关键特征图像的三维坐标表示出来,计算出多姿态人脸关键特征的三维信息。利用滤波器处理多姿态人脸的关键特征并对其进行提取,最后根据向量机的权值,对人脸关键特征的目标函数和特征中的噪声进行分析,计算人脸自动识别的条件概率和迭代次数,实现非限定条件下无约束多姿态人脸关键特征的自动识别。实验结果表明,所提算法能够对多姿态人脸关键特征进行自动识别,并且具有较高的识别率。

复杂应用场景中,光照变化、遮挡和噪声等干扰使得将像素特征作为相似性度量的识别算法的图像类内差大于类间差,降低了人脸识别性能。针对这一问题,提出了一种低秩约束的极限学习机鲁棒性人脸识别算法,提升了复杂场景下的识别性能。首先,利用人脸图像分布的子空间线性假设,将待识别图像聚类到相对应的样本子空间；其次,将像素域分解为低秩特征子空间和稀疏误差子空间,依据图像子空间的低秩性对噪声鲁棒的原理,提取人脸图像的低秩结构特征训练极限学习机的前向网络；最后,实现对噪声干扰鲁棒的极限学习机人脸识别算法。实验结果表明,相比前沿的人脸识别算法,所提方法不仅识别精度高、算法时间复杂度低,且具有较好的实用性。

针对目前人脸姿势校正鲁棒性差和计算复杂等问题,提出一种新的人脸姿态表情校正方法。首先,通过Fast-SIC算法来改进AAM模型以实现人脸对齐,该算法在不同光照、不同表情、不同姿势及不同遮挡的情况下均具有良好的对齐效果。然后,在人脸对齐的基础上进行人脸三维重建。文中提出了BFM-3DMM模型,其在原始3DMM模型的基础上添加了表情参数。但是,经过BFM-3DMM模型校正后的人脸仍然不够平滑,利用SFS算法不会受到原始统计模型约束的特点,对BFM-3DMM模型校正后的二维人脸进行再校正。在AFLW和LFPW数据库及自测人脸数据库上进行了相关实验,结果证明,校正后的二维人脸更加平滑且具有高保真度,还能够保留图像背景等信息。

传统的人脸识别模型采用离线方式进行训练,同时由于人脸特征维数较高导致算法的实时性不足。文中分别从人脸特征与分类器两方面来构建快速的人脸识别算法。首先使用SDM(Supervised Descent Method)算法进行人脸特征点定位,提取每个人脸特征点邻域内的局部(Multi Block-Center Symmetric Local Binary Patterns,MB-CSLBP)特征,并将所有的人脸特征点邻域特征以串联的方式构成局部融合特征,即所提出的局部融合MB-CSLBP特征LFP-MB-CSLBP(Local Fusion Feature of MB-CSLBP)。将以上特征送入分层增量树HI-tree(Hierarchical Incremental tree)中进行人脸识别模型的在线训练。分层增量树是使用分层聚类算法来实现增量式学习的,因此其能够以在线的方式对识别模型进行训练,具有较高的实时性与准确性。最后在3种不同的人脸库以及摄像头采集的人脸视频上对算法的识别率与实时性进行测试。实验结果表明,相比于当前其他算法,所提算法具有较高的人脸识别率与实时性。

深度学习在面部特征点定位领域取得了比较显著的效果。然而,由于姿态、光照、表情和遮挡等因素引起的面部图像的复杂多样性,数目较多的面部特征点定位仍然是一个具有挑战性的问题。现有的用于面部特征点定位的深度学习方法是基于级联网络或基于任务约束的深度卷积网络,其不仅复杂,且训练非常困难。为了解决这些问题,提出了一种新的基于单个卷积神经网络的面部多特征点定位方法。与级联网络不同,该网络包含了3组堆叠层,每组由两个卷积层和最大池化层组成。这种网络结构可以提取更多的全局高级特征,能更精确地表达面部特征点。大量的实验表明,所提方法在姿态、光照、表情和遮挡等变化复杂的条件下优于现有的方法。

在采集人脸图像时,图像存在模糊性较大或者姿态变化幅度较大等问题,人脸准确识别的精度不高,为了提高人脸识别的准确率,提出一种基于卷积神经网络的信息增强的人脸识别算法。对采集的模糊人脸图像进行小波降噪处理,对降噪输出的图像进行自适应模板匹配,结合图像分割方法对人脸图像进行分块,利用Radon尺度变换的几何特征不变性对人脸的关键特征点进行信息增强,采用卷积神经网络分类器对增强的人脸特征点进行分类,实现特征点优化提取和人脸准确辨识。仿真结果表明,采用该方法进行人脸识别的准确性较好,且能满足大批量样本人脸快速识别的应用需求。

针对采用融合深度哈希的卷积神经网络进行人脸识别时可能存在准确率下降及内存占用率偏高的问题,提出了基于权重哈希化的深度人脸识别算法。首先,提出一种基于高低维特征维度拼接的全卷积深度哈希网络,用以保证融合深度哈希后网络模型的识别准确率;然后,提出一种基于权重哈希化的模型压缩方法,将浮点型权重量化为哈希编码来进行模型存储,用以减少模型的内存占用率。实验表明,该方法在基于VGG框架进行改进时,可将VGG原网络的识别总效率提高68%,将准确率提高1.67%且使模型尺寸压缩了91.2％;该方法扩展到Sphereface框架时,在准确率略有提升的情况下将识别效率提高了61%,将模型压缩了42.24％。因此所提方法可提高识别准确率和效率,并减少内存占用率,同时还可扩展应用于其他网络。

针对现有表情识别算法未考虑头部姿态及不能使用高像素图像的问题,提出一种基于随机森林算法的头部姿态估计(RF-HPE)网络与卷积神经网络相结合的模型。首先对输入图像作强度归一化,然后利用RF-HPE确定脸部标志关键点,从而确定脸部标志的位置,最后使用卷积神经网络提取特征并训练模型。该模型降低了光线强度对识别结果的影响,并且在不牺牲算法效率的情况下提高了训练精度。实验结果表明,所提出的改进模型的学习能力相比其他同类模型有较大优势,分类精度也显著提高。

传统的最大间隔准则在计算类间离散度矩阵时往往忽略了类别之间的差异,但是对于人脸年龄估计,不同年龄标签之间的差异性是非常显著的。因此,在标签之间引入距离度量,提出标签敏感的最大间隔准则维数约减算法。此外,考虑到人脸变老的复杂性,提出两步的局部回归算法——K近邻-标签分布的支持向量回归(K Nearset Neighbors-Label Distribution Support Vector Reressor,KNN-LDSVR),以进行人脸年龄估计。在FGNET数据库子集上提出的人脸年龄估计方法的平均绝对误差为4.1岁,相对于已有的年龄估计方法,性能得到提升。

针对传统视频监控设备进行前端人脸识别时处理大量人脸数据所面临的计算性能不足的问题,提出了一种基于CPU-多核加速器异构结构的前馈神经网络并行加速框架,然后借助主成分分析方法对人脸数据进行特征提取用于神经网络的训练,并将训练好的神经网络模型导入神经网络加速框架中进行分类识别的方法。该方法最终在集成Zynq SoC和Epiphany的Parallella嵌入式并行计算平台中进行了系统实现。实验数据表明,该方法在保证识别准确率一致的情况下,能够提供相对于Zynq中的双核ARM处理器8倍的识别加速能力,在嵌入式人脸识别加速方面具有显著作用。

在大数据时代,图片数量非常巨大,但是具有标签的图片非常少。在学习和研究中,常常需要分类标注图片,而大部分图片都是与人脸相关的,因此人脸标注成为了一种进行图片分类标注的有效方法,但人工标注的成本较大。针对有标签图片数量较少以及人工标注成本较大的问题,提出了在主动学习算法的基础上建立计算人脸类标签后验分布的判别模型的方法。该方法基于马尔可夫随机场和高斯过程,考虑到了样本位置、特征的客观联系,在样本之间加入了匹配约束和非匹配约束,匹配约束表示样本之间具有相同的类标签,非匹配约束表示样本之间具有不同的类标签。实验结果表明,根据判别模型得到的类标签后验分布选择样本进行人工标注,大大提高了分类器的精确度。