2024年6月6日发(作者：呼延飞绿)

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(21)申请号 CN2.5

(22)申请日 2005.01.05

(71)申请人 张健

地址 310012 浙江省杭州市文三路508号天苑大厦12层

(72)发明人 张健 李文德 黄建强

(74)专利代理机构 杭州九洲专利事务所有限公司

代理人 韩小燕

(51)

H04N5/225

H04N5/232

(10)申请公布号 CN 1642233 A

(43)申请公布日 2005.07.20

权利要求说明书 说明书 幅图

(54)发明名称

可选择最佳拍照时机的数码相机

(57)摘要

本发明涉及一种可选择最佳拍照时

机的数码相机。所要解决的技术问题是提

供一种可选择最佳拍照时机的数码相机，

该数码相机不仅保留了典型数码相机所具

备的功能，而且能确定瞬时的最佳拍摄时

机，进行拍照。解决该问题的技术方案

是：它包括摄像头、存储电路、信号处理

器，信号处理器包括互相串联的人脸检测

模块、眼口定位模块、眨眼判断开口判断

模块，其中：人脸检测模块读取存储电路

输出的数字图像，定位出人脸后，将结果

送入眼口定位模块，眼口定位模块定位出

眼和口的位置后，将结果送入眨眼判断开

口判断模块，眨眼判断开口判断模块输出

判断结果；控制电路，用于当所述眨眼判

断开口判断模块的判断结果为最佳拍照时

机时，发出拍照控制命令。

法律状态

法律状态公告日

法律状态信息

法律状态

权 利 要 求 说 明 书

1、一种可选择最佳拍照时机的数码相机，包括一个摄像头(1)、一个存储电路(2)，

其特征是该相机还包括：

信号处理器(3)，它包括互相串联的人脸检测模块(3-1)、眼口定位模块(3-2)、眨眼

判断开口判断模块(3-3)，其中：

人脸检测模块(3-1)读取存储电路输出的数字图像，定位出人脸后，将结果送入眼口

定位模块(3-2)，

眼口定位模块(3-2)定位出眼和口的位置后，将结果送入眨眼判断开口判断模块(3-3)，

眨眼判断开口判断模块(3-3)输出判断结果；

控制电路(4)，用于当所述眨眼判断开口判断模块(3-3)的判断结果为最佳拍照时机

时，发出拍照控制命令，判断结果不是最佳拍照时机时，不发出拍照控制命令。

2、根据权利要求1所述的可选择最佳拍照时机的数码相机，其特征在于：所述人

脸检测模块(3-1)包括多尺度模板(3-1-1)、待拍图像(3-1-2)、模板匹配运算单元(3-1-

3)，模板匹配运算单元接收存储器(2)中多尺度模板(3-1-1)和待拍图像(3-1-2)，将运

算结果送入人脸图像位置(3-1-4)，所述多尺度模板(3-1-1)、待拍图像(3-1-2)、人脸

图像位置(3-1-4)分别存储在存储器(2)中的不同地址部分。

3、根据权利要求1所述的可选择最佳拍照时机的数码相机，其特征在于：所述眼

口定位模块(3-2)包括待拍图像(3-1-2)、人脸图像位置(3-1-4)、水平投影垂直投影单

元(3-2-1)，水平投影垂直投影单元接收存储器(2)中待拍图像(3-1-2)和人脸图像位置

(3-1-4)，将运算结果送入眼口位置(3-2-2)，所述待拍图像(3-1-2)、人脸图像位置(3-

1-4)、眼口位置(3-2-2)分别存储在存储器(2)中的不同地址部分。

4、根据权利要求1所述的可选择最佳拍照时机的数码相机，其特征在于：所述眨

眼判断开口判断模块(3-3)包括待拍图像(3-1-2)、眼口位置(3-2-2)、眨眼判断开口判

断单元(3-3-1)，眨眼判断开口判断单元接收存储器(2)中待拍图像(3-1-2)和眼口位置

(3-2-2)，得出各个人脸的眨眼判断及开口判断结果，发出指令给控制电路(4)，所述

待拍图像(3-1-2)和眼口位置(3-2-2)分别存储在存储器(2)中的不同地址部分。

说 明 书

技术领域

本发明涉及一种可选择最佳拍照时机的数码相机，尤其是能获知人的表情状态，从

而确定拍照时机的数码相机。适用于专业、业余摄影爱好者，或普通使用者。

背景技术

目前，典型的数码相机不存在为拍摄者选择最佳拍摄时机的功能。典型的数码相机

具有拍照后拍照者可回顾所拍摄相机的功能。例如，当使用者进行拍照后，在显示

装置上显示通过拍照得到的图像。但是，许多拍摄出来的照片，尤其是给多个人拍

照时，由于被拍摄者的瞬时眨眼，情绪变动，使得拍摄质量很难保证。传统的拍照

数码相机不能区分所拍时刻，各个人的眼睛是否眨动，脸部姿态是否和悦，端正，

因而给拍照者选择拍照的时机造成了很大的困难，使得拍摄的质量得不到保证。

发明内容

本发明就是为了解决上述问题而提出的，本发明的目的是提供一种可选择最佳拍照

时机的数码相机，该数码相机不仅保留了典型数码相机所具备的功能，而且能确定

瞬时的最佳拍摄时机，进行拍照。

本发明所采用的技术方案是：可选择最佳拍照时机的数码相机，包括一个摄像头、

一个存储电路，其特征是该相机还包括：

信号处理器，它包括互相串联的人脸检测模块、眼口定位模块、眨眼判断开口判断

模块，其中：

人脸检测模块读取存储电路输出的数字图像，定位出人脸后，将结果送入眼口定位

模块，

眼口定位模块定位出眼和口的位置后，将结果送入眨眼判断开口判断模块，

眨眼判断开口判断模块输出判断结果；

控制电路，用于当所述眨眼判断开口判断模块的判断结果为最佳拍照时机时，发出

拍照控制命令，判断结果不是最佳拍照时机时，不发出拍照控制命令。

所述人脸检测模块包括多尺度模板、待拍图像、模板匹配运算单元，模板匹配运算

单元接收存储器中多尺度模板和待拍图像，将运算结果送入人脸图像位置，所述多

尺度模板、待拍图像、人脸图像位置分别存储在存储器中的不同地址部分。

所述眼口定位模块包括待拍图像、人脸图像位置、水平投影垂直投影单元，水平投

影垂直投影单元接收存储器中待拍图像和人脸图像位置，将运算结果送入眼口位置，

所述待拍图像、人脸图像位置、眼口位置分别存储在存储器中的不同地址部分。

所述眨眼判断开口判断模块包括待拍图像、眼口位置、眨眼判断开口判断单元，眨

眼判断开口判断单元接收存储器中待拍图像和眼口位置，得出各个人脸的眨眼判断

及开口判断结果，发出指令给控制电路，所述待拍图像和眼口位置分别存储在存储

器中的不同地址部分。

本发明的有益效果是：可以在拍摄的同时，方便地区分出拍摄时刻各个人的脸部状

况，如确定人眼是否自然睁开，人脸是否呈现出和悦的情绪，从而选择出最佳的拍

摄时机进行拍摄，极大地提高了人像拍摄的质量。

附图说明

图1是本发明的系统结构图。

图2是图1中信号处理器的结构框图。

图3是图2中人脸检测模块的结构框图。

图4是图2中眼口定位模块的结构框图。

图5是图2中眨眼判断开口判断模块的结构框图。

图6是眼口定位模块和眨眼判断开口判断模块的原理图。

图7是眨眼判断开口判断模块中专门针对开口判断的原理图。

图8是本发明模板匹配的工作流程图。

图9是本发明眨眼判断开口判断模块的工作流程图。

图10是本发明信号处理器的工作流程图。

具体实施方式

图1所示，本实施例包括摄像头1、存储电路2、信号处理器3和控制电路4，摄

像头1将采集并转换为数字的信号放入存储电路2中，信号处理器3对存储在存储

电路2中的数字图像进行处理，得出此时数字图像中的人是否眨眼，表情是否和悦，

确定是否是最佳拍照时机，如果确定是最佳拍照拍照时机，信号处理器3通过控制

电路4发出拍照控制命令。

图2所示，信号处理器3包括互相串联的人脸检测模块3-1、眼口定位模块3-2、

眨眼判断开口判断模块3-3，人脸检测模块3-1读取存储电路输出的数字图像，定

位出人脸后，将结果送入眼口定位模块3-2；眼口定位模块3-2定位出眼和口的位

置后，将结果送入眨眼判断开口判断模块3-3；眨眼判断开口判断模块3-3向控制

电路4输出判断结果；这时，控制电路4接收到的判断结果为最佳拍照时机时，发

出拍照控制命令，判断结果不是最佳拍照时机时，则不发出拍照控制命令。

图3所示，所述人脸检测模块3-1包括多尺度模板3-1-1、待拍图像3-1-2、模板匹

配运算单元3-1-3，模板匹配运算单元接收存储器2中多尺度模板3-1-1和待拍图像

3-1-2，将运算结果送入人脸图像位置3-1-4，所述多尺度模板3-1-1、待拍图像3-1-

2、人脸图像位置3-1-4分别存储在存储器2中的不同地址部分。多尺度模板是12

个不同大小尺寸的平均人脸模板，该模板经过对大量人脸图像分析训练得到。

图4所示，所述眼口定位模块3-2包括待拍图像3-1-2、人脸图像位置3-1-4、水平

投影垂直投影单元3-2-1，水平投影垂直投影单元接收存储器2中待拍图像3-1-2和

人脸图像位置3-1-4，将运算结果送入眼口位置3-2-2，所述待拍图像3-1-2、人脸

图像位置3-1-4、眼口位置3-2-2分别存储在存储器2中的不同地址部分。

图5所示，所述眨眼判断开口判断模块3-3包括待拍图像3-1-2、眼口位置3-2-2、

眨眼判断开口判断单元3-3-1，眨眼判断开口判断单元接收存储器2中待拍图像3-

1-2和眼口位置3-2-2，得出各个人脸的眨眼判断及开口判断结果，发出指令给控制

电路4，所述待拍图像3-1-2和眼口位置3-2-2分别存储在存储器2中的不同地址部

分。

图6所示的是眼口定位模块和眨眼判断开口判断模块的原理图，由水平和垂直方向

投影，可以方便的完成眼口位置的确定。眨眼判断可从垂直方向投影图中看对应的

位置是否有3个波峰，而且如果是双眼合上，则水平方向投影上也将只有一个波峰。

开口判断可以从口的中心位置沿着垂直方向达到口的上边界和下边界，看历经的点

是否有连续的非唇色点。

图7是专门针对开口判断的原理图，根据图6得到的口中心位置，沿垂直方向往上

找出口腔的上边界yUp，再沿垂直方向往下找出口腔的下边界yDn，然后得出口腔

的开合程度(yUp-yDn)，将它与统计得到的经验阈值相比，得出是否开口的判断。

图8表示了人脸检测模块3-1中模板匹配的工作流程图：

在S801中，人脸检测的模板匹配开始

在S802中，赋值K＝1。K为模板的索引。

在S803中，取出某个模板Mk。

在S804中，将模板Mk分成N个小方块。

在S805中，对各个小方块做小波变换。

在S806中，对每个小方块取出最大的1/4元素，组成一个向量A(k)。

在S807中，判断是否遍历了所有的模板。如果是则进入S808处理，否则进入

S803。

在S808中，赋值K＝1。K为模板的索引。

在S809中，将X和Y，初始化，用于对Image索引。

在S810中，读入待拍图像Image。

在S811中，取出和模块大小相同的块S。

在S812中，将S分成N个小方块。

在S813中，对各个小方块做小波变换。

在S814中，对每个小方块取出最大的1/4元素，组成一个向量B(k)。

在S815中，增加X与Y的偏移，使它指向下一个像素。如果X小于图像宽度，

则只将X增加一个像素宽度，如果X达到图像的宽度，则将X置为零，将Y增加

一个像素。

在S816，看是否达到图像边界，如果是则进入S817处理，否则进入S815。

在S817，求向量A(k)和B(k)的距离DistAB(k)。

在S818，看DistAB(k)是否超过人脸检测的阈值DistThreoldK。如果是则进入S819

处理，否则进入S820。

在S819，记录人脸位置。

在S820，看是否处理完所有的模板，如果是则进入8821处理，否则进入S809。

在S822中，处理结束。

图9表示了眨眼判断开口判断模块3-3的工作流程图：

在S901中，把从人脸检测模块得到的人脸区域图像往水平方向投影。

在S902中，判断前一步骤得到的图像是否存在两个波峰，是就进入S904处理，

否就进入S903处理。

在S904中，记录由S902计算出的水平波峰的坐标位置(y1，y2)。实际上，y1就是

口的中心在水平方向上的投影位置，y2是眼的中心沿水平方向上的投影位置。

在S903中，得出人脸上的双眼闭合的结论。

在S905中，记录由S902计算出的的沿水平方向投影得到波峰的坐标位置(y1)。实

际上y1就是口的中心沿水平方向的投影位置。

在S906中，把从人脸检测模块得到的人脸区域图像往垂直方向投影。

在S907中，判断前一步骤得到的图像是否存在三个波峰，是就进入S909处理，

否就进入S908处理。

在S909中，记录由S907计算出的的沿垂直方向投影得到的波峰的坐标位置(x1，

x2，x3)。实际上x1，x2，x3分别是右眼、口、左眼中心沿垂直方向投影位置。

在S910中，记录口的中心坐标(x2，y1)。

在S911中，将yUp，yDn初试化为口的垂直坐标。

在S912中，看位于坐标(x2，yUp)的像素值是否位于嘴唇的颜色区间内。如果是则

进入S914处理，否则进入S913处理。

在S913中，将yUp递增1。实际上就是把垂直坐标加1个像素位置。

在S912，S913寻找嘴唇的上边界时，水平坐标x2保持不变，增加y2，并记增加

的y2为yUp，看位于坐标(x2，yUp)的像素值是否位于嘴唇的颜色区间内。

在S914中，看位于坐标(x2，yDn)的像素值是否位于嘴唇的颜色区间内。如果是则

进入S916处理，否则进入S915处理。

在S915中，将yDn递减1。实际上就是把垂直坐标减1个像素位置。

在S914，S915寻找嘴唇的下边界时，水平坐标x2保持不变，递减y2，并记递减

的y2为yDn，看位于坐标(x2，yDn)的像素值是否位于嘴唇的颜色区间内。

在S916中，将yUp与yDn相减，并将它与是否开口的阈值相减。如果大于开口的

阈值，则进入S918。否则进入S917。

在S917判定这个人脸区域图像为闭口。

在S918判定这个人脸区域图像为开口。

在S919中，处理结束。

图10表示了本发明信号处理器3的工作流程图：

在S1001中，计算开始

在S1002中，赋值X＝1。X为要采的图像帧数。用于决策出所拍图像哪帧效果最

好。

在S1003中，采集数码图像ImageX。

在S1004中，进行模式匹配

在S1005中，记录各人脸位置FA1，FA2，…，FaN，以及总共的人脸个数N

在S1006中，赋值K＝1。K为各个人脸位置的技术。用于各个匹配出的人脸块。

在S1007中，从ImageX中读入Fak位置的图像块

在S1008中，对ImageX进行投影。

在S1009中，从投影图中决策是否存在眼睛投影。如果是则进入S1010处理，否

则进入S1014处理。

在S1010中，从投影图中决策是否存在口部位投影。如果是则进入S1011处理，

否则进入S1014处理。

在S1011中，看是否需要进行张口判断。如果是则进入S1012处理，否则进入

S1013处理。

在S1012中，判断张口否。如果是则进入S1013处理，否则进入S1014处理。

在S1013中，将当前较好的人脸个数增加1。

在S1014中，判断当前采集图像检测出处于正常姿态的人脸是否比原先检测的更

多，如果是则进入S1015处理，否则进入S1016处理。

在1016，看是否已经处理完所当前图像中所有的人脸，如果是则进入S1017处理，

否则进入S1018。

在S1017，判断是否已经处理完足够的帧数，如果是则进入S1020处理，否则进入

S1019处理。

在S1020，从存储器中保存最好的人脸图像的帧。

在S1021中发出拍照控制命令，指示完成后续的处理及摄像状态设定。

2024年6月6日发(作者：呼延飞绿)

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(21)申请号 CN2.5

(22)申请日 2005.01.05

(71)申请人 张健

地址 310012 浙江省杭州市文三路508号天苑大厦12层

(72)发明人 张健 李文德 黄建强

(74)专利代理机构 杭州九洲专利事务所有限公司

代理人 韩小燕

(51)

H04N5/225

H04N5/232

(10)申请公布号 CN 1642233 A

(43)申请公布日 2005.07.20

权利要求说明书 说明书 幅图

(54)发明名称

可选择最佳拍照时机的数码相机

(57)摘要

本发明涉及一种可选择最佳拍照时

机的数码相机。所要解决的技术问题是提

供一种可选择最佳拍照时机的数码相机，

该数码相机不仅保留了典型数码相机所具

备的功能，而且能确定瞬时的最佳拍摄时

机，进行拍照。解决该问题的技术方案

是：它包括摄像头、存储电路、信号处理

器，信号处理器包括互相串联的人脸检测

模块、眼口定位模块、眨眼判断开口判断

模块，其中：人脸检测模块读取存储电路

输出的数字图像，定位出人脸后，将结果

送入眼口定位模块，眼口定位模块定位出

眼和口的位置后，将结果送入眨眼判断开

口判断模块，眨眼判断开口判断模块输出

判断结果；控制电路，用于当所述眨眼判

断开口判断模块的判断结果为最佳拍照时

机时，发出拍照控制命令。

法律状态

法律状态公告日

法律状态信息

法律状态

权 利 要 求 说 明 书

1、一种可选择最佳拍照时机的数码相机，包括一个摄像头(1)、一个存储电路(2)，

其特征是该相机还包括：

信号处理器(3)，它包括互相串联的人脸检测模块(3-1)、眼口定位模块(3-2)、眨眼

判断开口判断模块(3-3)，其中：

人脸检测模块(3-1)读取存储电路输出的数字图像，定位出人脸后，将结果送入眼口

定位模块(3-2)，

眼口定位模块(3-2)定位出眼和口的位置后，将结果送入眨眼判断开口判断模块(3-3)，

眨眼判断开口判断模块(3-3)输出判断结果；

控制电路(4)，用于当所述眨眼判断开口判断模块(3-3)的判断结果为最佳拍照时机

时，发出拍照控制命令，判断结果不是最佳拍照时机时，不发出拍照控制命令。

2、根据权利要求1所述的可选择最佳拍照时机的数码相机，其特征在于：所述人

脸检测模块(3-1)包括多尺度模板(3-1-1)、待拍图像(3-1-2)、模板匹配运算单元(3-1-

3)，模板匹配运算单元接收存储器(2)中多尺度模板(3-1-1)和待拍图像(3-1-2)，将运

算结果送入人脸图像位置(3-1-4)，所述多尺度模板(3-1-1)、待拍图像(3-1-2)、人脸

图像位置(3-1-4)分别存储在存储器(2)中的不同地址部分。

3、根据权利要求1所述的可选择最佳拍照时机的数码相机，其特征在于：所述眼

口定位模块(3-2)包括待拍图像(3-1-2)、人脸图像位置(3-1-4)、水平投影垂直投影单

元(3-2-1)，水平投影垂直投影单元接收存储器(2)中待拍图像(3-1-2)和人脸图像位置

(3-1-4)，将运算结果送入眼口位置(3-2-2)，所述待拍图像(3-1-2)、人脸图像位置(3-

1-4)、眼口位置(3-2-2)分别存储在存储器(2)中的不同地址部分。

4、根据权利要求1所述的可选择最佳拍照时机的数码相机，其特征在于：所述眨

眼判断开口判断模块(3-3)包括待拍图像(3-1-2)、眼口位置(3-2-2)、眨眼判断开口判

断单元(3-3-1)，眨眼判断开口判断单元接收存储器(2)中待拍图像(3-1-2)和眼口位置

(3-2-2)，得出各个人脸的眨眼判断及开口判断结果，发出指令给控制电路(4)，所述

待拍图像(3-1-2)和眼口位置(3-2-2)分别存储在存储器(2)中的不同地址部分。

说 明 书

技术领域

本发明涉及一种可选择最佳拍照时机的数码相机，尤其是能获知人的表情状态，从

而确定拍照时机的数码相机。适用于专业、业余摄影爱好者，或普通使用者。

背景技术

目前，典型的数码相机不存在为拍摄者选择最佳拍摄时机的功能。典型的数码相机

具有拍照后拍照者可回顾所拍摄相机的功能。例如，当使用者进行拍照后，在显示

装置上显示通过拍照得到的图像。但是，许多拍摄出来的照片，尤其是给多个人拍

照时，由于被拍摄者的瞬时眨眼，情绪变动，使得拍摄质量很难保证。传统的拍照

数码相机不能区分所拍时刻，各个人的眼睛是否眨动，脸部姿态是否和悦，端正，

因而给拍照者选择拍照的时机造成了很大的困难，使得拍摄的质量得不到保证。

发明内容

本发明就是为了解决上述问题而提出的，本发明的目的是提供一种可选择最佳拍照

时机的数码相机，该数码相机不仅保留了典型数码相机所具备的功能，而且能确定

瞬时的最佳拍摄时机，进行拍照。

本发明所采用的技术方案是：可选择最佳拍照时机的数码相机，包括一个摄像头、

一个存储电路，其特征是该相机还包括：

信号处理器，它包括互相串联的人脸检测模块、眼口定位模块、眨眼判断开口判断

模块，其中：

人脸检测模块读取存储电路输出的数字图像，定位出人脸后，将结果送入眼口定位

模块，

眼口定位模块定位出眼和口的位置后，将结果送入眨眼判断开口判断模块，

眨眼判断开口判断模块输出判断结果；

控制电路，用于当所述眨眼判断开口判断模块的判断结果为最佳拍照时机时，发出

拍照控制命令，判断结果不是最佳拍照时机时，不发出拍照控制命令。

所述人脸检测模块包括多尺度模板、待拍图像、模板匹配运算单元，模板匹配运算

单元接收存储器中多尺度模板和待拍图像，将运算结果送入人脸图像位置，所述多

尺度模板、待拍图像、人脸图像位置分别存储在存储器中的不同地址部分。

所述眼口定位模块包括待拍图像、人脸图像位置、水平投影垂直投影单元，水平投

影垂直投影单元接收存储器中待拍图像和人脸图像位置，将运算结果送入眼口位置，

所述待拍图像、人脸图像位置、眼口位置分别存储在存储器中的不同地址部分。

所述眨眼判断开口判断模块包括待拍图像、眼口位置、眨眼判断开口判断单元，眨

眼判断开口判断单元接收存储器中待拍图像和眼口位置，得出各个人脸的眨眼判断

及开口判断结果，发出指令给控制电路，所述待拍图像和眼口位置分别存储在存储

器中的不同地址部分。

本发明的有益效果是：可以在拍摄的同时，方便地区分出拍摄时刻各个人的脸部状

况，如确定人眼是否自然睁开，人脸是否呈现出和悦的情绪，从而选择出最佳的拍

摄时机进行拍摄，极大地提高了人像拍摄的质量。

附图说明

图1是本发明的系统结构图。

图2是图1中信号处理器的结构框图。

图3是图2中人脸检测模块的结构框图。

图4是图2中眼口定位模块的结构框图。

图5是图2中眨眼判断开口判断模块的结构框图。

图6是眼口定位模块和眨眼判断开口判断模块的原理图。

图7是眨眼判断开口判断模块中专门针对开口判断的原理图。

图8是本发明模板匹配的工作流程图。

图9是本发明眨眼判断开口判断模块的工作流程图。

图10是本发明信号处理器的工作流程图。

具体实施方式

图1所示，本实施例包括摄像头1、存储电路2、信号处理器3和控制电路4，摄

像头1将采集并转换为数字的信号放入存储电路2中，信号处理器3对存储在存储

电路2中的数字图像进行处理，得出此时数字图像中的人是否眨眼，表情是否和悦，

确定是否是最佳拍照时机，如果确定是最佳拍照拍照时机，信号处理器3通过控制

电路4发出拍照控制命令。

图2所示，信号处理器3包括互相串联的人脸检测模块3-1、眼口定位模块3-2、

眨眼判断开口判断模块3-3，人脸检测模块3-1读取存储电路输出的数字图像，定

位出人脸后，将结果送入眼口定位模块3-2；眼口定位模块3-2定位出眼和口的位

置后，将结果送入眨眼判断开口判断模块3-3；眨眼判断开口判断模块3-3向控制

电路4输出判断结果；这时，控制电路4接收到的判断结果为最佳拍照时机时，发

出拍照控制命令，判断结果不是最佳拍照时机时，则不发出拍照控制命令。

图3所示，所述人脸检测模块3-1包括多尺度模板3-1-1、待拍图像3-1-2、模板匹

配运算单元3-1-3，模板匹配运算单元接收存储器2中多尺度模板3-1-1和待拍图像

3-1-2，将运算结果送入人脸图像位置3-1-4，所述多尺度模板3-1-1、待拍图像3-1-

2、人脸图像位置3-1-4分别存储在存储器2中的不同地址部分。多尺度模板是12

个不同大小尺寸的平均人脸模板，该模板经过对大量人脸图像分析训练得到。

图4所示，所述眼口定位模块3-2包括待拍图像3-1-2、人脸图像位置3-1-4、水平

投影垂直投影单元3-2-1，水平投影垂直投影单元接收存储器2中待拍图像3-1-2和

人脸图像位置3-1-4，将运算结果送入眼口位置3-2-2，所述待拍图像3-1-2、人脸

图像位置3-1-4、眼口位置3-2-2分别存储在存储器2中的不同地址部分。

图5所示，所述眨眼判断开口判断模块3-3包括待拍图像3-1-2、眼口位置3-2-2、

眨眼判断开口判断单元3-3-1，眨眼判断开口判断单元接收存储器2中待拍图像3-

1-2和眼口位置3-2-2，得出各个人脸的眨眼判断及开口判断结果，发出指令给控制

电路4，所述待拍图像3-1-2和眼口位置3-2-2分别存储在存储器2中的不同地址部

分。

图6所示的是眼口定位模块和眨眼判断开口判断模块的原理图，由水平和垂直方向

投影，可以方便的完成眼口位置的确定。眨眼判断可从垂直方向投影图中看对应的

位置是否有3个波峰，而且如果是双眼合上，则水平方向投影上也将只有一个波峰。

开口判断可以从口的中心位置沿着垂直方向达到口的上边界和下边界，看历经的点

是否有连续的非唇色点。

图7是专门针对开口判断的原理图，根据图6得到的口中心位置，沿垂直方向往上

找出口腔的上边界yUp，再沿垂直方向往下找出口腔的下边界yDn，然后得出口腔

的开合程度(yUp-yDn)，将它与统计得到的经验阈值相比，得出是否开口的判断。

图8表示了人脸检测模块3-1中模板匹配的工作流程图：

在S801中，人脸检测的模板匹配开始

在S802中，赋值K＝1。K为模板的索引。

在S803中，取出某个模板Mk。

在S804中，将模板Mk分成N个小方块。

在S805中，对各个小方块做小波变换。

在S806中，对每个小方块取出最大的1/4元素，组成一个向量A(k)。

在S807中，判断是否遍历了所有的模板。如果是则进入S808处理，否则进入

S803。

在S808中，赋值K＝1。K为模板的索引。

在S809中，将X和Y，初始化，用于对Image索引。

在S810中，读入待拍图像Image。

在S811中，取出和模块大小相同的块S。

在S812中，将S分成N个小方块。

在S813中，对各个小方块做小波变换。

在S814中，对每个小方块取出最大的1/4元素，组成一个向量B(k)。

在S815中，增加X与Y的偏移，使它指向下一个像素。如果X小于图像宽度，

则只将X增加一个像素宽度，如果X达到图像的宽度，则将X置为零，将Y增加

一个像素。

在S816，看是否达到图像边界，如果是则进入S817处理，否则进入S815。

在S817，求向量A(k)和B(k)的距离DistAB(k)。

在S818，看DistAB(k)是否超过人脸检测的阈值DistThreoldK。如果是则进入S819

处理，否则进入S820。

在S819，记录人脸位置。

在S820，看是否处理完所有的模板，如果是则进入8821处理，否则进入S809。

在S822中，处理结束。

图9表示了眨眼判断开口判断模块3-3的工作流程图：

在S901中，把从人脸检测模块得到的人脸区域图像往水平方向投影。

在S902中，判断前一步骤得到的图像是否存在两个波峰，是就进入S904处理，

否就进入S903处理。

在S904中，记录由S902计算出的水平波峰的坐标位置(y1，y2)。实际上，y1就是

口的中心在水平方向上的投影位置，y2是眼的中心沿水平方向上的投影位置。

在S903中，得出人脸上的双眼闭合的结论。

在S905中，记录由S902计算出的的沿水平方向投影得到波峰的坐标位置(y1)。实

际上y1就是口的中心沿水平方向的投影位置。

在S906中，把从人脸检测模块得到的人脸区域图像往垂直方向投影。

在S907中，判断前一步骤得到的图像是否存在三个波峰，是就进入S909处理，

否就进入S908处理。

在S909中，记录由S907计算出的的沿垂直方向投影得到的波峰的坐标位置(x1，

x2，x3)。实际上x1，x2，x3分别是右眼、口、左眼中心沿垂直方向投影位置。

在S910中，记录口的中心坐标(x2，y1)。

在S911中，将yUp，yDn初试化为口的垂直坐标。

在S912中，看位于坐标(x2，yUp)的像素值是否位于嘴唇的颜色区间内。如果是则

进入S914处理，否则进入S913处理。

在S913中，将yUp递增1。实际上就是把垂直坐标加1个像素位置。

在S912，S913寻找嘴唇的上边界时，水平坐标x2保持不变，增加y2，并记增加

的y2为yUp，看位于坐标(x2，yUp)的像素值是否位于嘴唇的颜色区间内。

在S914中，看位于坐标(x2，yDn)的像素值是否位于嘴唇的颜色区间内。如果是则

进入S916处理，否则进入S915处理。

在S915中，将yDn递减1。实际上就是把垂直坐标减1个像素位置。

在S914，S915寻找嘴唇的下边界时，水平坐标x2保持不变，递减y2，并记递减

的y2为yDn，看位于坐标(x2，yDn)的像素值是否位于嘴唇的颜色区间内。

在S916中，将yUp与yDn相减，并将它与是否开口的阈值相减。如果大于开口的

阈值，则进入S918。否则进入S917。

在S917判定这个人脸区域图像为闭口。

在S918判定这个人脸区域图像为开口。

在S919中，处理结束。

图10表示了本发明信号处理器3的工作流程图：

在S1001中，计算开始

在S1002中，赋值X＝1。X为要采的图像帧数。用于决策出所拍图像哪帧效果最

好。

在S1003中，采集数码图像ImageX。

在S1004中，进行模式匹配

在S1005中，记录各人脸位置FA1，FA2，…，FaN，以及总共的人脸个数N

在S1006中，赋值K＝1。K为各个人脸位置的技术。用于各个匹配出的人脸块。

在S1007中，从ImageX中读入Fak位置的图像块

在S1008中，对ImageX进行投影。

在S1009中，从投影图中决策是否存在眼睛投影。如果是则进入S1010处理，否

则进入S1014处理。

在S1010中，从投影图中决策是否存在口部位投影。如果是则进入S1011处理，

否则进入S1014处理。

在S1011中，看是否需要进行张口判断。如果是则进入S1012处理，否则进入

S1013处理。

在S1012中，判断张口否。如果是则进入S1013处理，否则进入S1014处理。

在S1013中，将当前较好的人脸个数增加1。

在S1014中，判断当前采集图像检测出处于正常姿态的人脸是否比原先检测的更

多，如果是则进入S1015处理，否则进入S1016处理。

在1016，看是否已经处理完所当前图像中所有的人脸，如果是则进入S1017处理，

否则进入S1018。

在S1017，判断是否已经处理完足够的帧数，如果是则进入S1020处理，否则进入

S1019处理。

在S1020，从存储器中保存最好的人脸图像的帧。

在S1021中发出拍照控制命令，指示完成后续的处理及摄像状态设定。