第4章 基于模型的人脸描述与编码

在计算机视觉研究领域中，对目标物体进行描述和编码是一个备受关注的研究课题。借助计算机解释图像中感兴趣的目标是人们进行计算机视觉研究的一个基本的问题，也是将计算机视觉技术应用于工业检测、目标识别和医学图像处理等领域中一个必不可少的重要步骤。 这一技术得到了众多研究工作者的注意并取得了大量的成果。

虽然人类可以从一幅人脸图像中轻松地分辨出面部特征点的准确位置，但是对于计算机来讲却并非一件易事。人脸有复杂的三维表面结构，其在二维平面上形成的图像变化也非常之大。尤其对于不同的人脸姿态、表情，不同的光照条件，得到二维图像的差别是非常明显。因此，准确的人脸图像描述与编码是一个研究热点课题。

面部特征定位与描述为人脸图像信息的处理提供了重要的基础信息，人脸描述与编码的准确与否直接关系到后续应用的可靠性。它们在人脸识别、人脸姿态分析、表情分析、人脸合成、图像通信等领域中有着重要的应用。归纳起来有如下几个方面：

① 为人脸识别[4.1][4.2]提供几何特征等基础信息。在人脸识别算法中，一个重要的工作就是人脸图像尺寸的归一化，而归一化的实现依赖于面部特征定位描述与编码的结果。另外，一些算法中需要面部器官位置及形状信息，需要对面部区域的特征加以分析并在面部特征定位基础之上进行。

② 利用人脸面部特征定位描述与编码的结果进行人脸姿态和表情分析。在人脸的姿态及面部表情分析中，可以通过面部器官的相对位置及形状进行分析来确定，面部特征定位是姿态、表情分析的前提。

③ 实现人脸图像的自动跟踪[4.3]或为人脸自动跟踪提供初始位置。可以利用面部特征定位的方法，对视频图像中的人脸进行自动跟踪，也可以为基于其他方法的人脸跟踪算法提供人脸器官的初始位置。

④ 利用人脸面部特征定位描述和编码的结果，来进行人脸合成及人脸动画的研究。

总之，人脸图像的特征定位描述与编码有着广泛的应用，是许多其他人脸图像研究工作的前提，直接关系到其他研究工作能否顺利地进行。

早在20世纪60年代末，Kass等人[4.4]在1987年首先提出了称为Snake的主动轮廓模型（Active Contour Model, ACM）。Snake是能量极小化的一种模型，内力约束它的形状，外力引导它的行为，图像力将其拖向显著的图像特征。Snake模型的引人之处在于它对范围广泛的一系列视觉问题给出了统一的解决方法。近年来，它已经被越来越多的研究者成功地应用于计算机视觉的诸多领域。Won-Sook Lee [4.5]等人于1997年提出了一种由正面和侧面人脸图像的结构化Snake模型来进行人脸面部特征定位。基于可变形模板的特征提取首先是由A.L.Yuill[4.6][4.7]等人在1992年提出，用来提取眼睛和嘴巴的特征位置。针对人脸器官的复杂性，有些区域的灰度对比度比较低，因而无法直接检测到边缘，即使获得了较明显的边缘，也很难从中自动地获取精度很高的特征点位置。为此，用弹性可变形模板进行特征提取就显示出其优越性。可变形模板用一组根据特征形状的先验知识设计的参数所定义，这些参数是可调的。为了定义出最符合特征形状的参数，需要利用图像的边缘、峰值、谷值和先验知识设计合适的能量函数。参数向能量函数减小的方向做调整，当能量函数达到最小时，这组参数对应的模板就最符合所关心的特征形状。L. Wiskott等人[4.8]在1997年提出了利用Gabor小波变换系数进行人脸识别的弹性图匹配方法。在该方法中利用了一组不同频率和相位下得到的Gabor小波变换系数作为特征来进行面部特征点的精细定位，进而达到识别的目的。V. Kruger等人[4.9][4.10]利用Gabor小波进行人脸图像的表示与重建。根据重建系数的相似性来进行人脸特征定位。

另一种人脸图像描述与编码的方法是基于主动形状模型的方法。主动形状模型（Active Shape Model, ASM）是一种基于统计模型的方法，由T. F. Cootes等人[4.11][4.12][4.13][4.14]在1995年提出。该方法对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型。在搜索过程中，首先利用训练得到的局部灰度模型进行搜索，之后利用形状模型来对搜索到的形状进行近似表达，同时对其合理性进行判断，对不合理的形状进行调整以保证形状在统计意义上的合理性。通过循环迭代，得到理想的匹配结果。在主动形状模型基础之上，T. F. Cootes等人[4.15]在1998年又提出了主动外观模型（Active Appearance Model, AAM）。在此方法中，不仅建立了反映形状变化的形状统计模型，同时建立了反映全局纹理变化的全局纹理模型，以充分利用全局的纹理信息。并把形状模型及纹理模型结合起来建立外观模型。外观模型去除了形状和纹理之间的相关性，可以准确地生成形状及纹理变化的目标图像。在AAM搜索过程中，利用训练得到的图像灰度差值与外观参数变化的线性关系，不断变化外观模型参数及二维几何位置和尺度等参数。直至得到理想的匹配效果。ASM和AAM方法可以通过对某一类特定图像进行建模，来进行特征的提取，具有较好的通用性与灵活性。

在过去的几十年里，基于统计学的可变形模型[4.16]对目标物体的研究取得了成功，可变形模型是指对于任意给定图像，如果图像中有与该模型相同的目标物体，则可以根据物体图像的内部和外部特征与模型之间的差异，通过调整模型参数将模型进行变化，其形状和纹理能够与目标物体在一定误差内实现匹配。近年来的研究已经寻找到一些典型的可变型模型。最有名的可变形模型是主动轮廓模型（ACM），又称为Snake模型[4.17]，但是这类方法比较适用于处理边界光滑的物体，而且没有利用宝贵的先验知识。它的一个发展是主动形状模型（ASM）[4.18][4.19]，其方法是从某种物体的图像样本集合中提取出一个物体形状的统计的模式，同时利用边界点附近的纹理信息，按照一定算法，找到被定位物体的位置。但是该方法仅仅利用形状的约束，没有利用物体所有的可见信息，不能够体现目标物体的纹理特征。对ASM模型的建立和搜索过程进行的研究工作包括对训练集的标定、图像形状向量的标准化、采用主成分分析法构造统计模型、对参数向量的分析等。

在ASM基础上提出一种基于形状评价的加权主动形状模型（Weighted ASM, WASM）。WASM在基于局部纹理模型的基础上定义了一种形状评价函数，它衡量搜索得到的形状与训练数据的匹配程度。WASM采用形状评价信息，把搜索得到的形状用加权的方式投影到形状子空间，而不像在主动形状模型中采用正交投影。与正交投影相比，加权投影可以利用搜索过程中的信息，使搜索可能跳出局部极值，从而得到更准确、更鲁棒的结果。

AAM方法是对ASM的直接扩展[4.20][4.21][4.22][4.23][4.24][4.25][4.26][4.27][4.28][4.29]，与ASM相比AAM同样采用统计分析的方法建立先验模型，然后利用先验模型对图像中的目标物体进行匹配运算，包括形状无关图像的获得、纹理的归一化、对形状无关图像进行主分量分析、对纹理统计模型的改善，AAM模型对人脸图像进行编码的设计步骤和AAM迭代优化工作。其优点在于该模型不仅包含目标物体的形状信息，而且还包含有目标物体的内部纹理信息，纹理信息一般是组成目标物体的像素的灰度值。