2024年4月22日发(作者：达彭丹)

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(21)申请号 CN2.1

(22)申请日 2012.11.23

(71)申请人 诺基亚公司

地址 芬兰埃斯波

(72)发明人 李江伟 汪孔桥 何燕

(74)专利代理机构 北京市金杜律师事务所

代理人 酆迅

(51)

G06T7/00

G06T5/00

(10)申请公布号 CN 103839250 A

(43)申请公布日 2014.06.04

权利要求说明书 说明书 幅图

(54)发明名称

用于面部图像处理的方法和设备

(57)摘要

本发明提供了用于图像处理的方

法、相应设备和计算机程序产品。该方法

包括对图像执行面部检测，基于该面部检

测，获取至少一个面部的粗糙面部分割区

域和所述至少一个面部的轮廓边界，以及

基于所述轮廓边界，调整所述粗糙面部分

割区域以获得精细面部分割区域。利用本

发明的方法、相应设备和计算机程序产

品，图像中的粗糙面部区域可以得到精细

分割，从而为后续基于精细面部分割区域

的图像处理提供了良好的基础。

法律状态

法律状态公告日

法律状态信息

法律状态

权 利 要 求 说 明 书

1.一种方法，包括：

对图像执行面部检测；

基于所述面部检测，获取至少一个面部的粗糙面部分割区域和

所述至少一个面部的轮廓边界；以及

基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细面

部分割区域。

2.根据权利要求1所述的方法，其中获取至少一个面部的粗糙

割区域包括：

利用所述至少一个面部的局部区域来建立肤色模型；以及

对所述至少一个面部应用所述肤色模型，以获取所述至少一个面

部的粗糙面部分割区域。

3.根据权利要求1所述的方法，其中利用小波变换来获取所述

个面部的轮廓边界。

4.根据权利要求1所述的方法，其中基于所述轮廓边界，调整

面部分

至少一

所述粗

糙面部分割区域以获得精细面部分割区域包括：

以所述轮廓边界为基准，沿横向或纵向上的至少一个方向来调整

5.根据权利要求4所述的方法，其中调整所述粗糙面部分割区

检测粗糙面部分割区域的边界像素点是否在预先设置的位置调

当检测到所述偏离位于所述位置调整范围以内时，将偏离的所述

6.根据权利要求5所述的方法，进一步包括：

检测所述边界像素点是否从所述轮廓边界向外突出而超出所述

当检测到所述突出超出所述位置调整范围时，去除所述粗糙面部

分割区域上突出所述轮廓边界的部分。

位置调整范围；以及

整范围以内偏离所述轮廓边界；以及

所述粗糙面部分割区域，使得所述粗糙面部分割区域填充整个轮廓。

域包括：

边界像素点调整到所述轮廓边界上与其在横向或纵向上对准的点。

7.根据权利要求6所述的方法，进一步包括：

检测所述轮廓边界是否存在中断；以及

当检测到所述轮廓边界存在中断时，在中断的两个端点间执行内

插操作。

8.根据权利要求1所述的方法，进一步包括：

确定所述精确面部分割区域内的所有像素点的灰度值；

基于所述灰度值将所有像素点分成至少两类；以及

以不同的等级来对每类像素点的灰度值进行调整，以实现对所述

精细面部分割区域的白化处理。

9.根据权利要求8所述的方法，其中基于所述灰度值将所有像

成至少两类包括：

对所述精细面部分割区域内的所有像素点的灰度值进行统计；

基于所述统计，确定针对灰度值的至少一个阈值；

根据所述至少一个阈值将所有像素点划分为至少两类。

素点分

10.根据权利要求9所述的方法，其中确定针对灰度值的至少一

对所有像素点的灰度值进行排序；

按顺序选取预定数量的像素点；以及

对所述选取的像素点的灰度值求平均以确定至少一个阈值。

11.根据权利要求8所述的方法，进一步包括：

对于每类像素点选择多个不同的等级来进行所述调整，以实现多

12.根据权利要求1或8所述的方法，进一步包括：

确定所述精细面部分割区域内的每个像素点与其相邻区域内的

将每个灰度值差与预定的阈值进行比较，以确定对于各个相邻像

各个相邻像素点间的灰度值差；

个相应不同效果的白化处理。

个阈值包括：

素点，所述每个像素点所具有的平滑权重，其中所述平滑权重大小

与所述灰度值差成反比；以及

基于所述各个相邻像素点的灰度值、所述平滑权重以及各个相邻

像素点与所述每个像素点之间的空间距离，调整所述每个像素点的

灰度值，以实现对所述精细面部分割区域的平滑处理。

13.根据权利要求12所述的方法，其中所述预定的阈值通过以

来获得：

计算所述精细面部分割区域内所有像素点的梯度值；

对所有像素点的梯度值进行排序；

按顺序选取预定数量的像素点；以及

对所述选取的像素点的梯度值求平均，以获得所述预定的阈值。

14.一种设备，包括：

至少一个处理器以及包含计算机程序代码的至少一个存储器；

所述处理器以及所述存储器被配置成利用所述处理器，使得所述

设备至少执行：

对图像执行面部检测；

下操作

基于所述面部检测，获取至少一个面部的粗糙面部分割区域

至少一个面部的轮廓边界；以及

基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细

割区域。

15.根据权利要求14所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行：

利用所述至少一个面部的局部区域来建立肤色模型；以及

对所述至少一个面部应用所述肤色模型，以获取所述至少一个面

16.根据权利要求14所述的设备，其中利用小波变换来获取所

一个面部的轮廓边界。

17.根据权利要求14所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行：

以所述轮廓边界为基准，沿横向或纵向上的至少一个方向来调整

部的粗糙面部分割区域。

和所述

面部分

储器被

述至少

储器被

所述粗糙面部分割区域，使得所述粗糙面部分割区域填

充整个轮廓。

18.根据权利要求17所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行：

检测粗糙面部分割区域的边界像素点是否在预先设置的位置调

整范围以内偏离所述轮廓边界；以及

当检测到所述偏离位于所述位置调整范围以内时，将偏离的所述

边界像素点调整到所述轮廓边界上与其在横向或纵向上对准的点。

19.根据权利要求18所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备进一步执行：

检测所述边界像素点是否从所述轮廓边界向外突出而超出所述

位置调整范围；以及

当检测到所述突出超出所述位置调整范围时，去除所述粗糙面部

分割区域上突出所述轮廓边界的部分。

20.根据权利要求19所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备进一步执行：

储器被

储器被

储器被

检测所述轮廓边界是否存在中断；以及

当检测到所述轮廓边界存在中断时，在中断的两个端点间执行内

插操作。

21.根据权利要求14所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备进一步执行：

确定所述精确面部分割区域内的所有像素点的灰度值；

基于所述灰度值将所有像素点分成至少两类；以及

以不同的等级来对每类像素点的灰度值进行调整，以实现对所述

精细面部分割区域的白化处理。

22.根据权利要求21所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行：

对所述精细面部分割区域内的所有像素点的灰度值进行统计；

基于所述统计，确定针对灰度值的至少一个阈值；

根据所述至少一个阈值将所有像素点划分为至少两类。

储器被

储器被

23.根据权利要求22所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行：

对所有像素点的灰度值进行排序；

按顺序选取预定数量的像素点；以及

对所述选取的像素点的灰度值求平均以确定至少一个阈值。

24.根据权利要求21所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行：

对于每类像素点选择多个不同的等级来进行所述调整，以实现多

个相应不同效果的白化处理。

25.根据权利要求14或21所述的设备，其中所述处理器以及所

述存储器被配置成利用所述处理器，使得所述设备进一步执行：

确定所述精细面部分割区域内的每个像素点与其相邻区域内的

各个相邻像素点间的灰度值差；

将每个灰度值差与预定的阈值进行比较，以确定对于各个相邻像

素点，所述每个像素点所具有的平滑权重，其中所述平滑权重大小

储器被

储器被

与所述灰度值差成反比；以及

基于所述各个相邻像素点的灰度值、所述平滑权重以及各个相邻

像素点与所述每个像素点之间的空间距离，调整所述每个像素点的

灰度值，以实现对所述精细面部分割区域的平滑处理。

26.根据权利要求25所述的设备，其中所述处理器以及所述存

配置成利用所述处理器，使得所述设备至少执行以下操作来

述预定的阈值：

计算所述精细面部分割区域内所有像素点的梯度值；

对所有像素点的梯度值进行排序；

按顺序选取预定数量的像素点；以及

对所述选取的像素点的梯度值求平均，以获得所述预定的阈值。

27.一种设备，包括：

检测装置，用于对图像执行面部检测；

获取装置，用于基于所述面部检测，获取至少一个面部的粗糙面

部分割区域和所述至少一个面部的轮廓边界；以及

储器被

获得所

调整装置，用于基于所述轮廓边界，调整所述粗糙面部分割区域

28.一种计算机程序产品，包括具有存储于其中的计算机可读程

以获得精细面部分割区域。

序代码部分的至少一个计算机可读存储介质，所述计算机可读程序

代码部分用于执行根据权利要求1-13的任意一项所述的方法。

说 明 书

技术领域

本发明的示例性和非限制性实施方式一般地涉及图像处理，更

本发明的实施方式涉及用于面部图像处理的方法和设备。

背景技术

随着移动照相技术的不断发展，越来越多的用户在每天日常生

用移动设备来进行拍照，并将所拍摄的照片或图片通过无线

友和同事，或者发布于博客或社交网站，以便及时与

在发布照片前，很多用户(尤其是女性用户)

的图像处理，以期获得各种效果。这就

更高的要求。

当前的面部图像处理技术面临的一个主要挑战是如何自动和精

包括面部和周边区域的图像中分割出面部，作为进一步面部

础。分割出精细的面部区域有利于实现后续令人满意

如面部图像编辑、增效等。如果在从图像中分

像或者丢失了一些面部区域，将仅获得

分割区域。

如图1中所示出，检测到的面部分割区域由虚线包围。从该虚

部分割区域可以看出，由于拍摄时的背景照明或者周

分割区域左侧包括了非面部的小段区域，而右

面部区域排除在面部分割区域以外。显

而基于此粗糙面部分割区域进

严重失真，或者得到的效

线所包括的面

准的从

活中使

具体地，

网络发送给好

好友和同事进行分享。

期望能够对照片做一些面部

对当前的面部图像处理技术提出了

图像处理的基

的各种图像处理，例

割面部时引入了一些背景图

例如如图1所示出的粗糙面部图像

边颜色的相似度，该

侧则将面部靠近左耳的部分

然，这样的面部分割结果是粗糙的，

行后续处理，往往将导致得到的面部图像

果令用户难以接受。

实现精细面部区域分割的困难在于图片中对象的多样性、拍摄

多样性以及拍摄时环境光线的多样性。事实上，当前的大多

以处理具有各类面部特征的图片，例如图片来自于白

面、在室内或室外拍摄、年轻人或老年人，以

度。特别地，复杂多变的取景条件会造

看起来较为模糊，这也导致仅仅

面部分割无法得到令人满

颜色相似度也使在

分。因此，

的首

发明内容

为了缓解或克服上面所提到的技术问题，本发明的实施方式提

效的面部图像分割方案，使得粗糙面部分割区域得到进一步

到高质量和高准确度的精细面部分割区域。基于该精

发明的实施方式还提出对该精细面部分割区域

满足不同用户对于图片效果的需求。

为此，本发明的一个实施方式提供了一种方法。该方法包括对

行面部检测。该方法还包括基于所述面部检测，获取至少一

面部分割区域和所述至少一个面部的轮廓边界。进一

所述轮廓边界，调整所述粗糙面部分割区域以

本发明的另一实施方式提供了一种设备。该设备包括：至少一

器以及包含计算机程序代码的至少一个存储器。所述处理器

个处理

图像执

供了高

设备的

数方案并不足

人或黑人、正面或侧

及具有不同的清晰度或模糊

成面部不平衡的色彩分布并且可能

通过使用亮度信号或肤色信号对图片进行

意的效果。进一步，面部区域和背景物体之间的

分割完整的面部区域时，难以对颜色信息做到很好的区

如何获得可靠精细的面部分割区域成为面部图像处理需要解决

要问题。

细化，从而得

细面部分割区域，本

进行进一步的图像处理，以

个面部的粗糙

步，该方法包括基于

获得精细面部分割区域。

以及所述存储

器被配置成利用所述处理器，使得所述设备至少执行

所述处理器以及所述存储器还被配置成利用

至少执行基于所述面部检测，获取至少

述至少一个面部的轮廓边界。进

对图像执行面部检测。

所述处理器，使得所述设备

一个面部的粗糙面部分割区域和所

一步，所述处

理器以及所述存储器还被配置成利用所述处理器，使

基于所述轮廓边界，调整所述粗糙面部分割区

得所述设备至少执行

域以获得精细面部分割区域。

本发明的又一实施方式提供了一种设备。该设备包括检测装置，

图像执行面部检测。该设备还包括获取装置，用于获取至少

糙面部分割区域和所述至少一个面部的轮廓边界。进

整装置，用于基于所述轮廓边界，调整所述粗

面部分割区域。

本发明的另外的实施方式提供了一种计算机程序产品。该计算

产品包括具有存储于其中的计算机可读程序代码部分的至少

读存储介质，所述计算机可读程序代码部分用于执行

式的用于图像处理的方法。

通过基于轮廓边界来调整粗糙面部分割区域，本发明的实施方

显著提高面部区域分割的精确性，从而为后续的面部图像处

的基础。

附图说明

通过参照附图阅读以下所作的对非限制性实施例的详细描述，

的其它特征、目的和优点将会变得更明显。在附图中，相同

标记代表相同或相似的装置或方法步骤，其中：

用于对

一个面部的粗

一步，该设备包括调

糙面部分割区域以获得精细

机程序

一个计算机可

根据本发明的实施方

式可以

理提供了良好

本发明

和相似的附图

图1示例性示出了通过现有技术所获得的经粗糙面部区域分割

图2是示例性示出了根据本发明的实施方式的用于面部图像处

化流程图；

图3是示例性示出了根据本发明的实施方式的用于面部图像处

细流程图；

图4是示例性示出了根据本发明的实施方式的用于获得粗糙面

操作示意图；

图5a-5c是分别示例性示出了根据本发明的不同实施方式对图

片进行精细处理以获得精细面部分割区域的示意图；

图6是示例性示出了利用根据本发明的实施方式所获得的精细

对面部执行白化处理的示意图；

图7是示例性示出了利用根据本发明的实施方式所获得的精细

对面部执行平滑处理的示意图；

图8是结合具体图片处理过程来示例性示出了根据本发明实施

部图像处理的整体过程的流程图；

图9是示例性示出了能够实现本发明的实施方式的设备的框图；

图10是示例性示出了能够实现本发明的实施方式的另一设备的

后的图片；

理的方法的简

理的方法的详

部区域分割的

面部分割区域

面部分割区域

方式的用于面

以及

框图。

具体实施方式

本发明的示例性实施方式提供了高效的面部区域分割的方法和

以及利用该方法和设备对得到的精细面部分割区域进行“美

和平滑)处理的方法和设备。为了获得精细面部分

例性实施方式提出了利用面部检测对图像中的

而获得粗糙面部分割区域。接着，对图

域的轮廓边界。随后，将二者进

在一些实施方式中，本发明提出以轮廓边界为基准在二维空间

或纵向)上来调整粗糙面部分割区域，以使得该粗糙面部分

廓边界以内的区域，从而获得精细面部分割区域。在

本发明还提出当存在轮廓边界中断时，在中

而得到精细面部分割区域。

下面将结合附图来详细描述本发明的各个实施方式。

图2是示例性示出根据本发明的实施方式的用于面部图像处理

简化流程图。如图2中所示，在步骤S202处，方法200

部检测。接着，在步骤S204中，方法200基于所述面

设备，

化”(包括白化

割区域，本发明的示

面部首先执行粗糙分割，从

像中的面部进行处理以获得面部区

行有效的结合以获得精细面部分割区域。

(横向

割区域填充轮

另外一些实施方式中，

断区域间执行内插操作，从

的方法200的

对图像执行面

部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面

部的轮廓边界。尽管未示出，在一个实施方式中，方法200利用至

少一个面部的局部区域来建立肤色模型并且接着对该至少一个面部

应用建立的肤色模型(例如图4中的图片P406所示出的模型)，从

而获取该至少一个面部的粗糙面部分割区域。在另一个实施方式中，

方法200使用小波变换(例如Haar小波卷积算法)来确定该轮廓边

界。

应该理解的是，上述的获取粗糙面部分割区域和面部轮廓的处理

示例性的和说明性的，本发明的实施方式并不限于这里所公

方式。本领域技术人员根据本说明书的教导，可以采

或未来开发的)方法来获取粗糙面部分割区域

在获取至少一个面部的粗糙面部分割区域和所述至少一个面部

边界后，方法200前进到步骤S206。在该步骤中，方法200

边界，调整所述粗糙面部分割区域以获得精细面部分

方式中，方法200以所述轮廓边界为基准，沿

向来调整所述粗糙面部分割区域，使得

廓，从而获得精细面部分割区域。

进一步，在一个实施方式中，方法200检测粗糙面部分割区域的

素点是否在预先设置的位置调整范围以内(例如在某个阈值

所述轮廓边界，并且当检测到所述偏离位于所述位置

法200将偏离的所述边界像素点调整到所述轮

上对准的点。当检测到所述偏离位于所

将该偏离视为显著突出于轮廓边

面部分割区域。

尽管在多数情况下，在步骤S204所确定的轮廓边界是连续或封

但实际操作中可能由于各种潜在原因而导致轮廓边界存在中

象。为此，在一个实施方式中，方法200还检测所述

断，并且在中断的两个端点间执行内插操作，

仅仅是

开的具体处理

取其他合适的(现有

和面部轮廓。

的轮廓

基于所述轮廓

割区域。在一个实施

横向或纵向上的至少一个方

所述粗糙面部分割区域填充整个轮

边界像

范围内)偏离

调整范围以内时，方

廓边界上与其在横向或纵向

述位置调整范围以外时，方法200

界，并且去除该突出部分，从而获得精细

闭的，

断或断开的现

轮廓边界是否存在中

例如依轮廓边界走向而采取线性或非线性的插值操作来填补中断的

边界，从而获得精细面部分割区域。

利用方法200以及其变形或扩展的上述各种实施方式，可以实现

中的面部区域的精细分割。这样的精细分割不仅有效的排除

或图像噪声，并且也尽可能多的保留面部细节。另外，

部分割区域也为本发明的后续图像处理(包括白化和

的素材基础。

尽管没有在图2中具体示出，关于白化处理操作，方法200进一

精确面部分割区域内的所有像素点的灰度值，并且基于灰度

点分成至少两类，以及以不同的等级来对每类像素点

以实现对精细面部分割区域的白化处理。简言

灰度值的像素点分别进行不同程度的白

会变得太白，而初始白的像素点

在一个实施方式中，方法200对精细面部分割区域内的所有像素

度值进行统计，并基于所述统计，确定针对灰度值的至少一

根据所述至少一个阈值将所有像素点划分为前述的至

个阈值，在一个实施方式中，方法200对精细

点的灰度值进行排序，并按顺序选取预

素点的灰度值求平均，从而将该

可以看出，上述的阈值确定方式特定于各个面部，从而对于面部

理具有更强的针对性。另外，为了获得不同的白化效果，在

中，方法200还对每类像素选择不同的(白化)等级

P606、P608和P610所示出的不同等级的白化效

对图片

背景干扰信息

这样的精细面

平滑处理)提供良好

步确定

值将所有像素

的灰度值进行调整，

之，方法200将对具有不同

化处理，以达到初始灰的像素点不

变得更白，由此增强了图像面部的对比度。

点的灰

个阈值，从而

少两类。关于至少一

面部分割区域内的所有像素

定数量的像素点，并且对选取的像

平均值确定为所述的至少一个阈值。

白化处

一个实施方式

(例如图6的图片

果)，该等级可以通过参数

来调节。这样的设置有助于向用户提供

过预览功能来预览，并最终选择

不同的白化效果选择，用户可以通

自己期望的白化效果。

上面讨论了对精细面部分割区域进行白化处理的操作，下面将讨

论对获取的精细面部分割区域进行平滑处理。在本发明的一个

实施

方式中，方法200在获取精细面部分割区域后，进一步确定所述精

细面部分割区域内的每个像素点与其相邻区域内的各个相邻像素点

间的灰度值差，将每个灰度值差与预定的阈值进行比较，以确定对

于各个相邻像素点，所述每个像素点所具有的平滑权重，其中所述

平滑权重大小与所述灰度值差成反比，并且基于所述各个相邻像素

点的灰度值、所述平滑权重以及各个相邻像素点与所述每个像素点

之间的空间距离，调整所述每个像素点的灰度值，以实现对所述精

细面部分割区域的平滑处理。

关于上述的平滑权重，本发明实施方式的平滑处理考虑每个像素

度值及其相邻区域内的像素点的灰度值，当两个像素点之间

大，则这两个像素点所涉及的区域之间很有可能存在

滑操作所要尽量避开的区域。基于此，可以认

处理的像素点的平滑操作贡献较小，从

处理的像素点较小的权重。反之，

关于上述预定的阈值的选择，在一个实施方式中，方法200计算

细面部分割区域内所有像素点的梯度值，接着对所有像素点

排序并按顺序选取预定数量的像素点，以及对选取的

均，从而将该平均值设置为所述预定的阈值。

值设置对于各个图片具有更强的针对性

滑效果。

点的灰

的灰度值差越

边界，而该边界是平

为该相邻像素点对于待平滑

而针对该相邻像素点，赋予待平滑

则赋予较大的权重。

所述精

的梯度值进行

像素点的梯度值求平

与白化处理类似，这样的阈

和专属性，从而可以达到更好的平

上面讨论了对精细面部分割区域进行平滑处理的操作，应该注意

该平滑处理既可以在步骤S206后直接执行，也可以在白化处

执行，依用户的不同偏好或设置而定。

图3是示例性示出根据本发明的实施方式的用于面部图像处理

详细流程图。如图3中所示，在步骤S302中，方法300

像进行面部检测。如本领域技术人员所理解的，对于

图像，可以通过面部检测模型检测到边界框。

接着，方法300前进到步骤S304。此处，方法300对检测到的

色进行建模。在获得肤色模型后，在步骤S306处，方法300

糙面部分割，从而获得粗糙面部分割区域。该肤色建

处理过程将在稍后结合图4来具体描述。

在步骤S308处，方法300与粗糙面部分割处理步骤S304和S306

执行获取面部区域的轮廓边界的处理。在本发明的一个示例

可以执行小波变换(例如Haar小波变换)来计算得

该面部的轮廓边界接近于或与实际面部轮廓重

轮廓边界可能由于图像质量或其他潜在

正如前面所描述的，尽管使用肤色模型可以获得粗糙面部分割

但该结果不足以良好地辅助面部图像处理任务。通常，面部

糙性可以归结于(1)一些背景图像被错误地归类为皮

域在分割过程被丢失。事实上，复杂多变的光

的是，

理之前或之后

的方法300的

对待处理的图

具有面部的任意给定

除了检测到边界框以外，还有必要扩展该边界框，以便得到的扩展

框不仅包括面部区域，还包括与该面部结合的颈部区域(例如图4

的图片P402中所示的，稍后将结合图4描述)，从而便于后续面部

图像处理。

面部肤

对图像执行粗

模和粗糙面部分割的

并行地

性实施方式中，

到面部的轮廓边界，

合，尽管在某些情况下，该

原因而发生中断。

区域，

分割区域的粗

肤；(2)一些面部区

照条件造成面部肤色的非平

衡分布是很难仅仅依靠于肤色模型的处

实施方式提出对得到的粗糙面部

面部分割区域。

理就可以克服的。因此，本发明的

分割区域进行精细处理以获得满意的精细

为此，在步骤S310，方法300选择横向(或称x方向)或纵向

中的至少一个方向来执行精细分割面部区域(或称

域)的操作。在本发明的一些实施方式中，该

获得的面部轮廓边界上的强边界响应来调

面部分割区域。

具体地，首先在步骤S312中，方法300基于面部轮廓边界来调

偏离的像素点，这里的相对偏离可以设置在一定的阈值范围

对超过该阈值范围的像素点执行步骤S314的处理。关

当方法300前进到步骤S314处时，其将检测在经步骤S312处

片是否还存在显著偏离于面部轮廓边界的像素点，此

偏离已经超出前述所设定的搜索范围，即利用

整的情况。该显著偏离可以是由于背景颜

为面部区域，从而导致从面部区域明显

可以基于轮廓边界调整显著相对

作，稍后将参考图5b做示

当方法300前进到步骤S316处时，其将检测轮廓边界是否存在

正如本领域技术人员所能理解的，在实际的轮廓边界计算过

发生轮廓边界断裂成若干个段的情况。因此，当检测

行步骤S316对轮廓边界中断的区域执行内插操

于步骤S316的具体操作，稍后将参考图

(或称y方向)

细化粗糙面部分割区

细化过程通过步骤S308中

整步骤S306中获得的粗糙

整相对

内，以便可以

于步骤S312的具体操作，稍后将参考图5a做示例性描述。

理所获得的图

处的显著偏离表示该

步骤S312已经无法实现调

色与面部肤色接近而被误认

突出的区域。通过执行步骤S314，

偏离的像素点。关于步骤S314的具体操

例性描述。

中断。

程中，可能会

到该中断情形时，执

作以填补该中断的区间。关

5c来示例性描述。

在执行完步骤S316后，方法300就在步骤S318获得了精细面

以用于后续步骤S320和S322的图像处理使用。应该

获得粗糙面部分割区域和计算面部轮廓边界的

域技术人员可以采取其他任意合适的方

在获得精细面部分割区域后，方法300还附加地执行图片“美

括步骤S320的白化处理和步骤S322的平滑处理。首

方法300基于精细面部分割区域执行白化(或

S320的具体操作，稍后将参考图6来

接着，在步骤S322处，方法300还基于精细面部分割区域执行

理。为此，本发明的实施方式提出主要基于局部区域信息自

每个像素，以移除面部额头、面颊或颈部上的褶皱或

嘴、牙齿和眼睛等面部细节。关于步骤S322的

上面结合图3所示出的各个步骤描述了方法300，但应该注意的

流程图中的步骤顺序仅仅是示例性的，本发明的实施方式并

并且针对不同的面部图像可以省略相关的步骤。例如，

述了步骤S312、S314和S316，当粗糙面部分割区域

S312、S314或S316处理的情形时，则相应的步

S320和S322的顺序也可以互换，例如先

可以例如根据用户的偏好来选择

图4是示例性示出了根据本发明的实施方式的用于获得粗糙面

操作示意图，其包括了肤色建模和粗糙面部分割的处

部区域分割的

是，该

具体操作，稍后将参考图7来示例性描述。

平滑处

化”处理，包

部分割区域，

注意的是，上面关于

描述仅仅是示例性的，本领

法来实施。

先，在步骤S320处，

称“美白”)操作。关于步骤

示例性描述。

适应地来平滑

斑点，同时又不弱化

不受其限制，

尽管按顺序描

中不存在需要步骤

骤可以省略。另外，步骤

执行平滑处理后进行白化处理，这

和设置。

理过程。

正如前面在方法300的步骤S302处所描述的，图片P402中围

部区域的内框即为边界框(或也称面部检测框)，而

部的外框即为扩展框。可以看出，扩展框不仅

也包括了多余的背景区域，例如扩展框

这些背景区域稍后可以通过利用

由于利用一个通用的肤色模型来检测所有类型的面部既不现实

行，为了使面部分割相对可靠，本发明提出针对各个面部构

部的肤色模型，从而尽可能获得更有效的肤色模型。

明提出从图像面部检测到的边界框拾取一小块

图片P404中所示出的)作为学习区域来

肤色模型学习过程。例如，可以

进行建模，从而获得图4右

(即本发明的肤色模

框中的面部

方所

对于选定的学习区域内的每点像素p，通过颜色变换获得其对应

绕男士主要面

扩展到包括该男士颈

包括完整的面部区域，而且

中男士面部后的背景以及衣领，而

肤色模型来滤除。

也不可

建特定于该面

如图4中所示，本发

面部区域(如图4中上部的

执行色差信号UV的色彩空间内的

通过2D高斯参数模型对相应的皮肤分布

上方图片P406中所示的2D高斯肤色色差模型

型)。该肤色模型接着可以用于对左侧图片P402的扩展

皮肤区域进行过滤以滤除背景图像信息，从而得到如图4中下

示出的图片P408。为了便于理解，下面示例性地描述该建模及过滤

操作过程。

的色差

信号c(p)＝(u_p，v_p)。接着，统计学习区域内所有像素的

色差信号， 获得色差信号均值m_c(p)和方差σ_c(p)，

模型f(c(p))＝N(c(p)，m_c(p)，从而可以建立2D高斯肤色色差

σ_c(p))，其中N是以m_c(p)为均值，σ_c(p)为方

差的

2D高斯函数。此后，对于扩展框中的面部图像区域，计算每个像素

点q的色差信号c(q)＝(u_q，v_q)，将其代入通过学

即f(c(q))＝N(c(q)，m_c(p)，

之间的某个小

习获得的肤色模型中，

σ_c(p))。如果f(c(q))大于某个特定阈值(例如0～1

数)，则可以认为当前像素点为肤色，否则认为其非 肤色。通过上述操作，

就可以过滤背景图像信息，获得大致的人脸

面部区域。

接着，可以对该获得的图片P408执行一些图像形态学操作，以

片P408中的空洞进行填充并且去除图像噪声，从而获得如图

出的图片P410，这也就得到了根据本发明的一个实施

区域。可以看出，在粗糙面部区域分割过程中，

用了皮肤信息作为可靠的线索来从扩展框中分

图5a示出根据本发明的一个实施方式的用于对图片的粗糙面部

域进行精细处理的过程，也即方法300中的步骤S312的处理。

5a中所示，区域P502示出了当前所获得的粗糙面部分割区域，

52指示出面部的轮廓边界，从区域P502中容易看出，该粗

域右侧上部区域突出于轮廓边界52以外，而右侧下部

界52以内，显然这样的面部区域分割是不精准

为此，本发明的实施方式提出，当检测到存在上述的偏离情况

以对位于粗糙分割区域边缘上的像素点(如标号54所示出的)

范围。假设像素点54的二维坐标为(x，y)，则其横

表示为(x-δ，x+δ)，如图5a中的双向箭头56

纵向上的搜索范围可以表示为(y-δ，y+δ)

便将图

4右下侧所示

方式的粗糙面部分割

本发明的实施方式利

割出面部皮肤区域。

分割区

如图

而曲线

糙面部分割区

区域又凹陷于轮廓边

的。

时，可

设定一个搜索

向上的搜索范围可以

和58所示的。类似地，其

(未示

出)。此处的参数“δ”的值的选择确定了在细化过程中边界

值越大则更多的面部轮廓边界点将被搜索，而值越小

到的轮廓边界点的数目。因此，可以通过大量

值，这样既可以避免不必要地扩大搜索

围。接着，可以在该搜索范围内

素点54在横向或纵向上对

彩空间下获得)，

信息的权重，

则有可能会减小搜索

学习过程来选择一个合适的

范围，也可以避免过度缩小搜索范

检测面部轮廓边界52上是否存在与该像

准的点(也称为强边界响应点，其在R、G、B色

如果存在这样的点，则将该像素点调整到面部轮廓边界

上与其对准

头56

的点处。例如，当检测到像素点54在其横向搜索空间，即箭

和58之间的空间内存在与该像素点54对应的点58，而该点58恰好

位于面部轮廓边界52上，此时就可以将像素点54的位置更新到点

58处。对于检测到像素点恰好位于与面部轮廓边界上的点重合的情

形，如图中所示的点60，则此时像素点的位置将保持不变。通过上

述方式的位置调整，就可以得到如区域P504所示出的较为精细的面

部分割区域。

为了便于理解，图5a下部以实际的图片P506为例来示出该细

际的图片P506在经过本发明前述的粗糙面部区域分割

分别得到了图片P508和P510。从图片P508中

域可以看出，该粗糙面部分割区域将面

部区域。通过本发明的实施方

廓边界(以圆形示出)。接

割的图片P508进行

(如眉毛处)，

的轮

图5b示出根据本发明的一个实施方式的用于对图片的粗糙面部

域进行调整的过程，也即方法300中的步骤S314的处理。如

区域P514示出当前的粗糙面部分割区域，其边缘上存

而面部轮廓边界上存在另外三个点a、d和e，

化过程。当实

和面部轮廓计算后就

大小不同的圆形所包围的区

部中的较暗区域(如眉毛)视为非面

式，可以找到图片P510中与之对应的轮

着，利用上面所描述的调整方式，可以对粗糙分

处理。例如，对于凹陷于面部轮廓边界以内的像素点

可以将其调整到位于搜索范围以内的、与其横向或纵向上对准

廓边界点处，从而得到如图片P512所示出的精细面部分割区域。

分割区

图5b所示，

在a、b和c三个点，

其中a点为粗糙面部分割区域和面部轮廓边界的公共点。可以看出，

在点a的相邻区域内，由于多个粗糙分割区域边缘上的像素点(例

如b和c点)构成的陡峭空间排列，从而相应形成了向外伸出的显

著突起。由于|d-b|和|e-c|的空间距离要远大于参数δ的值，因此此时

利用图5a的搜索范围方法已经无法将b点调整到d点的位置以及类

似地将c点调整到e点的位置。

进一步，通过判断沿面部轮廓边界上的点之间的偏差远小于沿

割区域边缘上的像素点之间的偏差(数学式可以例如表达为

并且|e-a|＜＜|c-a|，如区域P514和P516之间的几何块图所

以确定粗糙面部分割区域边缘上向外伸出的突出部分

边界以内或者作为背景区域被剪切，以便移除

为例，该面部分割区域将沿着面部轮廓边

始的像素点a、b和c，由此得到细化的精

P516。

同样地，为了便于理解，图5b下部以实际的图片P518为例来

程。当实际的图片P518在经过本发明前述的粗糙分割

分别得到了图片P520和P522。从图片P520中

的区域可以看出，该粗糙分割将面部后

的座椅)视为面部区域。通过本

P522中与之对应的面部轮廓边

的调整方式，可以对粗

突出面部轮廓边界外

切掉，从而移除多

割区域。

图5c示出根据本发明的一个实施方式的用于对图片的粗糙面部

域进行精细处理的过程，也即方法300中的步骤S316的处理。

5c的区域P526所示，轮廓边界曲线59断开成ab和cd两段。

前述的方法调整该粗糙面部分割区域时，将在b和c

区域。

粗糙分

|d-a|＜＜|b-a|

绘出的)，可

应该收缩到面部轮廓

该突起部分。以区域P514

界点a、d和e延伸而非初

细面部分割区域，即区域

示出该细化过

和面部轮廓计算后就

利用大小不同的圆形所包围

方的背景区域(如与面部肤色接近

发明的实施方式，可以计算得到图片

界(以圆形示出)。接着，利用上面所描述

糙分割的图片P520进行处理。例如，对于明显

的像素点，可以将其调整到轮廓边界点以内或剪

余的背景区域，得到如图片P524所示出的精细面部分

分割区

如图

在根据本发明

两个端点间产生空白

如前所述，再经过方法300的步骤S312和S314的处理后，突

ab段以外的粗糙面部分割区域将会收敛于ab段处，

廓边界cd段以内的粗糙面部分割区域将会收敛

合理地推导出断开的b点和c点将被连接，

丢失的数据。根据本发明的一个实施方

直，可以考虑使用线性内插(或

从而实现b点和c点间

势呈曲线状，也可

过这样的插

P528所

上面结合附图5a-5c、关于粗糙面部分割区域调整的描述主要是

向方向做出的，但正如前面所提到的，上述的调整方法同样

向方向上的调整。总之，本发明的实施方式通过这样

上沿横向和纵向分别执行，从而得到精细面部

图6是示例性示出了利用根据本发明的一个实施方式所获得的

区域对面部执行白化处理(也即方法300中的步骤

在得到如图5中的图片P512和P524所示出的精细面部分割区

能需要对区域进行白化处理，以使面部清晰、美观、

常，直截了当的方法是对区域内的所有像素以

Y的水平。然而，这样的方法会直接减

节(例如嘴部、牙齿和眼睛)模

外，对面部的白化处理应

个不同的白化效果。

域进行灰度统计，

出于轮廓边界

而类似地，凹陷于轮

于cd段处。基于此，可以

以弥补在计算面部轮廓时所

式，鉴于b和c两点间轮廓走势平

插值)技术来计算b和c间多个点的坐标，

的连接。另外，当轮廓边界上中断的端点间的走

以考虑使用非线性内插技术，例如bsline插值算法。经

值操作后，就可以得到细化后的精细面部分割区域，如区域

示出的。

针对横

也适用于在纵

的细化过程在图像面

分割区域。

精细面部分割

S320的处)的示意图。

域后，很有可

便于辨认和识别。通

相同的幅度来增加亮度信号

小面部的对比度，从而使面部的细

糊，这对于面部的美化处理是不利的。另

该具有可调节的多个等级，从而用户可以获得多

因此，本发明的实施方式提出对精细面部分割区

并且根据统计结果来将面部区域分成若干个不同等级，

并对于不同

的等级实施不同等级的白化操作，从而得到不同的白化效果。

为了实现上述的效果，本发明的一个实施方式提出如下的面部

化函数：

皮肤白

$f\left(x\right)$

mrow>=(1

n>-exp(-

xthres))

>·thres,0

mn>≤x≤thres

255-

f(thres)

>level-

thres·(

x-

thres)+f(<

/mo>thres),thres

<x≤255<

/mfenced>---

(1)

hs>

在上面的函数中，“x”表示某个像素点的灰度值，“thres”是

素点x构成的空间划分成多个段的参数，例如图6左

图像灰度级被划分成A和B两个段，“thres”

部图像自适应的学习。例如，可以将面

序排列，并且对排在倒数的5％的

平均值设定为“thres”的

用于将所有像

侧的曲线图所示出的，

值的选择可以从待处理的面

部区域内的所有像素的灰度值按降

像素点的灰度值求平均，并且将所得到的

值。通常这倒数的5％的数据是从面部的眼睛、

眉毛或胡子获得的。

用于获得不同

个曲线)，

P610所

始图

参数“level”的值可在“thres+1”到255之间调节，

等级的白化曲线(如图6的曲线图中的B段中示出的多

从而实现不同的白化效果。如图6中的图片P606、P608和

示出的，随着等级的不断增加，经白化处理后的图片相对于原

片P604对比度逐渐增加并且清晰度具有明显改善。

图7是示例性示出了利用根据本发明的一个实施方式所获得的

区域对面部执行平滑处理(也即方法300中的步骤

图。

首先，本发明的实施方式对面部区域内的所有像素的梯度幅度

计。接着，按照降序对所得到的梯度幅度进行排列，并且对

10％的数据求平均值，从而得到常量参数“cont”，其可

节强度的粗略测量值。然后，如图7左侧所示，

每个像素点(x，y)，以该像素为中心

如可以是合适的整数。接着，计

与该中心像素点(x，y)

着，计算它们的灰度差

精细面部分割

S322的处理)的示意

进行统

排在最前的

以视为有用的面部细

对于精细面部分割区域内的

选择一个L*L大小的区域框，L例

算相邻区域内的任意像素点(如点(p，q))

之间的空间距离Δ，例如Δ＝|(p，q)-(x，y)|。接

ζ，例如ζ＝|g(p，q)-g(x，y)|，该灰度差ζ将主

y)的权重p(ζ)。该权重p(ζ)例如可以通过下式来要确定用于平滑像素点(x，

计算。