最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍

IT圈 admin 32浏览 0评论

2024年3月10日发(作者:伟向荣)

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

17

卷第

1

2005

1

计算机辅助设计与图形学学报

JOURNALOFCOMPUTER-AIDEDDESIGNSCOMPUTERGRAPHICS

Vol.17

No.1

Jan.2005

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

张晓华山世光曹波高文周德龙赵德斌

(中国科学院计算技术研究所数字化研究室

s

g

shan!

北京

100080

摘要人脸图像数据库是人脸识别算法研究、开发、评测的基础,具有重要的意义

.

介绍了自行创建并已经部分共

享的

CAS-PEAL

大规模中国人脸图像数据库及其基准测试结果

.CAS-PEAL

人脸图像数据库中包含了

1040

名中国

人共

涵盖了姿态、表情、饰物和光照

4

种主要变化条件,部

99450

幅头肩部图像

.

所有图像在专门的采集环境中采集,

分人脸图像具有背景、距离和时间跨度的变化测试子库已经公开发布

.

目前该人脸图像数据库的标准训练、

.

与其他

图像变化条件等方面具有综合优势,将对已经公开发布的人脸图像数据库相比,

CAS-PEAL

人脸图像数据库在人数、

人脸识别算法的研究、评测产生积极的影响

作为以东方人为主的人脸图像数据库,

.

同时,

CAS-PEAL

人脸图像数据

库也使人脸识别算法在不同人种之间的比较成为可能,利于人脸识别算法在国内的实用化

.

还给出了两种基准人脸

识别算法(

E

和两个著名商业系统在该人脸图像数据库上的测试结果,定量分析了该人脸图像

i

g

enface

Correlation

数据库对于人脸识别算法的难易程度和人脸识别算法的发展现状

.

关键词人脸识别;人脸图像数据库;性能评测

中图法分类号

TP391

CAS-PEAL

ALar

g

e-ScaleChinesefacedatabaseandSomePrimar

y

Evaluations

Zhan

g

XiaohuaShanShi

g

uan

g

CaoBoGaoWenZhouDelon

g

ZhaoDebin

100080

)(

Di

g

itallab

Instituteo

f

Com

P

utin

g

Technolo

gy

Chineseacadem

y

o

f

Sciences

Bei

j

in

g

Asthebasisofresearch

develo

p

mentandevaluationoffacereco

g

nitional

g

orithms

faceima

g

e

databaseisof

g

reatim

p

p

a

p

er

weintroducetheconstructionandbasiccontentoftheCAS-

PEAL

lar

g

e-scaleChinesefacedatabaseandsome

p

rimar

y

Abstract

CAS-PEALfacedatabaseconsistsof99450facialima

g

ima

g

esinthe

databasewerecollectedins

p

eciall

y

desi

g

nedenvironmentwithfour

p

rinci

p

alvariationsof

p

ose

ex

p

ression

accessor

y

andli

g

htin

g

aswellasthreeothervariationsintermsofback

g

round

distanceanda

g

in

g

.

Currentl

y

thestandardtrainin

g

setand

p

robesetofCAS-PEALfacedatabasehavebeenmade

p

ublicl

y

availableforresearch

p

ur

p

oseonl

y

onacase-b

y

-

p

aredwithother

p

ublicfacedatabases

CAS-

PEALexcelsinitslar

g

e-scaleandvariationmodesandisex

p

ectedtohave

p

ositiveim

p

actonthe

develo

p

mentandevaluationoffacereco

g

nitional

g

tion

asanorientalfaceima

g

edatabase

CAS-PEALmakes

p

ossiblethecom

p

arisonofal

g

orithms

p

erformancebetweendifferentethnic

g

rou

p

sand

willbenefitthea

pp

licationoffacereco

g

nitiontechnolo

gy

p

a

p

eralso

g

ivestheevaluation

resultsoftwobasicfacereco

g

nitional

g

orithms

Ei

g

enfaceandCorrelation

andtwocommercials

y

stems

ex

p

lainsthedifficult

y

ofthedatabasetothefacereco

g

nitional

g

orithmsandanal

y

sesthecurrent

develo

p

mentstatusoffacereco

g

nitiontechnolo

gy

.

Ke

y

wordsfacereco

g

nition

facedatabase

p

erformanceevaluation

收稿日期:修回日期:

2004

-

05

-

10

2004

-

09

-

06

基金项目:国家“八六三”高技术研究发展计划项目(;国家自然科学基金重点项目(

2001AA114010

60332010

10

计算机辅助设计与图形学学报

2005

于其变化模式较少,多数系统的识别率均可以达到

!

引言

因此进一步利用的价值已经不大

90%

以上,

.

[]

7

PF01

人脸库

9

.

由韩国浦项科技大学创

姿态、表情的面

建,包含

103

人的

1751

幅不同光照、

部图像,志愿者以韩国人为主

.

[]

8

AR

人脸库

10

.

由西班牙巴塞罗那计算机

视觉中心建立,包含

116

人的

3288

幅图像

.

采集环

境中的摄像机参数、光照环境、摄像机距离等都是经

人脸识别的研究工作自

20

世纪

60

年代开始以

已成为图像分析和理解来,经历了近

40

年的发展,

1

目前,领域最热门的研究内容之一人脸识别技

.

术已经从实验室中的原型系统逐渐走向了商用,出

1-3

然而,现大量的识别算法和若干商业系统人脸

.

识别的研究仍旧面临着巨大的挑战,人脸图像中姿

过严格控制的

.

态、光照、表情、饰物、背景、时间跨度等因素的变化

对人脸识别算法的鲁棒性有着负面的影响,一直是

影响人脸识别技术进一步实用化的主要障碍

2-3

.

多数人脸识别算法的研究、开发和测试需要更多的

人脸图像来克服上述障碍,主要包括两方面:人脸图

像数据库(简称人脸库)所包含的人数以及人脸库中

每个人所具有的、在不同条件下的人脸图像数

.

目前,人脸识别领域常用的人脸库主要有:

1

FERET

人脸库

2

.

FERET

项目创建,

包含

14051

幅多姿态、光照的灰度人脸图像,是人脸

识别领域应用最广泛的数据库之一

.

其中的多数人

脸图像是西方人的,每个人所包含的人脸图像的变

化比较单一

.

2

MIT

人脸库

4

.

由麻省理工大学媒体实验

室创建,包含

16

位志愿者的

2592

幅不同姿态、光照

和大小的面部图像

.

3

Yale

人脸库

5

.

由耶鲁大学计算视觉与控

制中心创建,包含

15

位志愿者的

165

幅图像,包含

光照、表情和姿态的变化

.

4

Yale

人脸库

B

6

.

包含了

10

个人的

5850

幅多姿态、多光照的图像

.

其中姿态和光照变化的

图像都是在严格控制的条件下采集的,主要用于光

照和姿态问题的建模与分析

.

由于采集人数较少,

该数据库的进一步应用受到了比较大的限制

.

5

PIE

人脸库

7

.

由美国卡耐基梅隆大学创

建,包含

68

位志愿者的

41368

幅多姿态、光照和表

情的面部图像

.

其中的姿态和光照变化图像也是在

严格控制的条件下采集的,目前已经逐渐成为人脸

识别领域的一个重要的测试集合

.

6

ORL

人脸库

8

.

由剑桥大学

AT&T

实验

室创建,包含

40

人共

400

幅面部图像,部分志愿者

的图像包括了姿态、表情和面部饰物的变化

.

该人

脸库在人脸识别研究的早期经常被人们采用,但由

9

BANCA

人脸库

11

.

它是欧洲

BANCA

划的一部分,包含了

208

人、每人

12

幅不同时间段

的面部图像

.

10

KFDB

人脸库

12

.

包含了

1000

人,共

52000

幅多姿态、多光照、多表情的面部图像,其中

姿态和光照变化的图像是在严格控制的条件下采集

.

其志愿者以韩国人为主

.

11

MPI

人脸库

13

.

包含了

200

人的头部

3D

结构数据和

1400

幅多姿态的人脸图像

.

12

XM2VTS

人脸库

14

.

包含了

295

人在

4

个不同时间段的图像和语音视频片断

.

在每个时间

段,每人被记录了

2

个头部旋转的视频片断和

6

语音视频片断

.

此外,其中的

293

人的

3D

模型也可

得到

.

人脸库在提供标准的人脸图像训练、测试集合

的同时,还应该能对影响人脸识别性能的不同情况

进行模拟,以方便研究人员针对不同的关键问题进

行重点研究

.

但是,现有的人脸库大多存在数据量

较小或者图像变化情况比较单一的缺陷,而且提供

面部图像的志愿者多为西方人;由于东西方人在面

部特征上存在一定的差异,使用西方人的面部图像

进行识别系统的研究可能会给我们所开发的技术在

国内的应用带来不利因素

.

因此,建立一个大规模、

多样化的东方人脸库对国内人脸识别技术的发展将

会有极大的推动作用

.

CAS-PEAL

人脸库正是基于上述考虑而创建的

大规模、多变化的东方人脸库

.

该数据库的建立是

国家“八六三”高技术研究发展计划项目课题———

的一部

分,同时得到国家自然科学基金和国家“八六三”高

技术研究发展计划的资助,由中国科学院计算技术

研究所

-

银晨科技面像识别联合实验室负责建立

.

库工作开始于

2002

8

月,

2003

4

月最终完成,

“中文平台总体技术研究与基础数据库建设”

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

11

共采集并整理了

1040

位志愿者(其中

595

位男性,

的共

445

位女性)

99450

幅人脸图像

.CAS-PEAL

脸库中的所有图像分为姿态变化、表情变化、饰物变

化、光照变化、背景变化、距离变化和时间跨度变化

7

种变化模式子库,其中又以姿态(

p

ose

)、表情

(、饰物(和光照(

ex

p

ression

accessor

y

li

g

htin

g

4

变化为主(故简称为

PEAL

.

各个变化模式子库均

可以与姿态变化子库进行组合,以满足研究工作中

的不同要求变化模式两个方

.

本文将从采集环境、

统一的命名规则保存

.

多摄像头同时拍摄获取多角

度图像的方法,与使用单个摄像头拍摄而由被采集

者转动头部获取多角度图像的方法相比,很好地控

制了图像之间的角度变化,能保持角度间隔的一致

性,更有利于研究多视角人脸识别问题

.

()多光源分布环境

为获得一致均匀的自然环境光,同时也为了便

于控制,我们完全遮挡了室外光线,用太阳灯照射粗

糙的白色墙壁,利用其反射光来模拟自然环境光照,

面介绍

CAS-PEAL

人脸库,并结合几种人脸识别算

法和商业系统在该数据库已经发布的基准训练、测

试子库上的测试结果,进一步说明

CAS-PEAL

人脸

库用于人脸识别系统性能评测的难易程度,并简要

分析了目前最好的人脸识别算法的性能

.

CAS-PEAL

人脸库采集环境

采集环境是建立人脸库所需要的基本硬件条

件,包括摄像头和控制设备的布局、光照环境的建立

.

这些硬件的组织和应用将直接影响人脸库的特

性和质量

.

在建立

CAS-PEAL

人脸库之前,我们对

采集环境进行了认真设计,以求在现有的硬件条件

下达到最佳的采集效果

.CAS-PEAL

人脸库的采集

环境主要具有了以下几个特点

.

1

)多角度摄像头图像采集系统

为获得多角度的人脸面部图像,我们采用了多

摄像头的采集系统布局

.

编号从

0!

9

个摄像

头在半圆形框架上成等角度分布,摄像头分布示意

图如图

1

所示

.

被采集对象位于半圆形摄影架的圆

心位置,调整椅子高度以使被采集人正对

!

4

摄像

.9

个摄像头通过

S

连接线连接到

PC

机,由程

序统一控制

9

个摄像头进行拍摄

.

每次拍摄时,

0!

号摄像头依次抓取图像(总耗时小于

s

),并按照

1

摄像头在水平面上的排列

模拟自然环境光的光源叫作环境光源

.

为了获取不同光照条件下的面部图像,我们在

个垂直方向(上、中、下)和每个垂直方向的

5

个水

平方向上共布置了

15

个光源,并按照光源所处的垂

直和水平位置分别对每个光源进行了编号

.

由于这

个光源对被拍摄者的面部来说都具有很强的方

向性,因此我们称这

15

个光源为方向光源

.

方向光

源的分布示意图如图

所示

.

光照设备布局

在多光照模式的拍摄过程中,首先关闭所有光

源,每次只打开

1

个方向光源进行拍摄

.

每次变换

方向光,

9

个摄像头都同时工作,采集

9

幅不同角度

的面部图像

.

多光源分布环境结合多角度的摄像头

系统,使得我们的光照变化图像更加丰富,有利于研

究者研究多光照条件下的人脸识别问题

.

)多饰物选择

我们预备了

种不同样式的眼镜和

种不同样

式的帽子,要求被采集者依次佩戴这

种饰物进行

拍摄

.

每次更换饰物,

9

个摄像头均同时工作拍摄不

同视角的图像

.

15

2

12

计算机辅助设计与图形学学报

2005

4

)背景变化

很多情况下,进行人脸识别时所用的摄像头被

打开了自动白平衡功能

.

在遇到背景颜色变化的情

况时,由于摄像头的白平衡功能,所摄取的图像会有

较大的色彩变化

我们在采集环境中设置了

5.

因此,

种不同颜色的背景,默认的拍摄背景为蓝色;此外,

在红色、黑色、黄色、白色背景条件下各进行了一次

环境光照模式的图像拍摄

.

在多光照模式的拍摄情

况下,我们也采用了白色背景每次变换背

.

同样地,

景,

9

个摄像头同时拍摄不同视角图像

.

1

)姿态子库

在环境光照模式下,要求志愿者变换平视、抬

头、低头

3

种姿态分别进行拍摄,每次变换俯仰姿态

时,多角度摄像头系统一次拍摄,可同时获得同一俯

仰姿态下的、

9

幅水平深度旋转姿态变化的图像

.

此,姿态子库中的每个志愿者有

27

幅环境光照模式

下的标准姿态变化图像

.

姿态变化图像示例如图

3

所示

.

2

)表情子库

环境光照模式下,要求志愿者做出笑、皱眉、惊

讶、闭眼、张嘴

5

种表情,这

5

种都是造成面部特征

变化比较大的表情,有利于研究人脸识别算法对表

情变化的鲁棒性

.

表情子库的示例如图

4

所示

.

3

)饰物子库

环境光照模式下,志愿者佩戴

3

种不同的帽子

3

种不同的眼镜,如图

5

所示

.

3CAS-PEAL

人脸库图像变化模式介绍

CAS-PEAL

人脸库中总共包括

1040

人,

99450

幅人脸图像,这些图像可以划分为姿态、表情、背景、

饰物、光照、距离和时间等

7

个子库

.

3

每人的

27

幅姿态变化图像

4

表情子库中

5

种不同的表情

5

饰物子库中的

3

种帽子、

3

种眼镜饰物

4

)光照子库

采集光照子库图像时,环境光源关闭,每次打开

一个方向光源进行图像采集,如图

6

所示

.

5

)背景子库

红色、黑色、白

5

种不同的背景颜色包括蓝色、

色和黄色由于摄像头的白平衡

.

环境光照模式下,

功能,面部图像的色彩分布在每种背景颜色条件下

均有不同,如图

7

所示

.

6

)距离子库

环境光照模式下,改变志愿者与摄像头的相对

距离,获取到距离子库中每个志愿者的

3

种不同距

离的面部图像,其示例如图

8

所示

.

7

)时间跨度子库

随着时间的改变,人的面部特征会有一定的变

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

13

化引入了时间跨度子库,子库

.

在我们的人脸库中,

中的志愿者图像距离他们第一次被采集的图像有

6

个月的时间跨度,其图像示例如图

9

所示

.

6

光照子库中的

15

种方向光

7

背景子库中的蓝、红、黑、白、黄色

5

种背景

面图像子库和姿态图像子库

.

正面图像子库中包含

1040

人的共

9060

幅图像,

其中的所有图像均由编号为

!

4

的摄像头拍摄

.

库中涉及的变化条件如表

1

所示,其中,

377

人有

6

8

距离子库中

3

种不同的距离下的图像

种表情变化的图像,

438

人有

6

种面部饰物变化的

图像,

233

人有至少

9

种光照变化的图像,

297

人有

2!4

种背景变化的图像,

296

人有

1!2

种距离变化

的图像;此外,还有

66

人有

2

幅时间跨度变化的

图像

.

lCAS-PEAL-rl

的正面图像子库和姿态子库的图像情况

变化种类

正面子库标准

表情

1

5

!

"9

6

2!4

1!2

1

!

正面子库图像总数

姿态子库(

213>7

1040

人数

1040

377

233

438

297

296

66

图像数目

1040

1884

2450

2646

650

324

66

9060

21840

21840

9

时间跨度子库,第二行的图像为第一次

采集

6

个月后再次拍摄的图像

光照

饰物

背景

4CAS-PEAL-rl

共享人脸库

距离

时间

为了方便国内外人脸识别领域的研究者使用

我们提供了

CASCAS-PEAL

人脸库,

-PEAL

人脸库

[]

的共享版本

CAS-PEAL-r1

-PEAL-r1

15

.CAS

享库包含分为两个子库:正

1040

人的

30900

幅图像,

姿态子库图像总数

!

中性表情的标准正面图像没有包括在内

14

计算机辅助设计与图形学学报

2005

姿态图像子库中包含

1040

人的共

21840

幅图

像,每人

21

幅姿态变化的图像

.

姿态变化包括了

3

种俯仰姿态变化(抬头、平视、低头)和每种俯仰姿态

下的

7

种水平深度旋转姿态变化

.

CAS-PEAL

人脸库中的原图像为

640>480

素,

24

RGB

色彩的

BMP

位图图像

.

为了方便图

像的发布和共享,

CAS-PEAL-R1

库中的图像全部在

原图像的基础上进行了处理

.

图像大小被裁剪为

并去除了颜色信息转换为灰度图

360>480

像素,

训练集合多

.

除了模板匹配等少数简单算法,

数人脸识别算法都是需要进行训练的

我们

.

因此,

从正面子库中随机选择

300

人,每人随机选择

4

正面图像,共

1200

幅图像构成训练集

.

原型图像集合

.

提供给算法为待识别人员建立

识别原型的图像子集,包含

1040

人,每人

1

幅标准

正面图像(正面平视,环境光照,中性表情,无饰物);

测试集合

.

提供给算法进行识别测试的图像子

集测试集包括除去训练集和原型

.

对于正面子库,

像,图像格式为

BMP

位图格式

.

这样,整个

CAS-

PEAL-R1

库的数据量为

5GB

左右,其图像示例如

10!11

所示

.

10CAS-PEAL-R1

正面图像子库中的图像示例

11CAS-PEAL-R1

姿态图像子库中的图像示例

5CAS-PEAL-rl

建议评测协议

人脸识别系统的评测工作的目的是为了评价各

个识别系统的性能差距,并指导人脸识别领域未来

的研究方向

.

要达到这个目的,评测方法的设计尤为

重要

.

科学的评测方法应该能够解决著名的“三熊问

题”(

Threebears

p

roblem

2

,即对所有待测算法或系

统来说,评测不能太难,以致超出了现有系统的识别

能力;也不能太简单,使得对所有系统的测试结果都

非常好

.

要解决“三熊问题”,就需要仔细地选择数据

库并合理地制定评测协议

.

本节主要介绍我们建议的

基于

CAS-PEAL-R1

的评测协议,包括标准训练、测试

集合划分和评测性能指标等方面的内容

.

-PEAL-rl

标准训练、测试集合划分

根据待测试算法的特性,我们从

CAS-PEAL-R1

库中整理出了三个大的集合,分别作为训练集合

trainin

g

set

)、原型图像集合(

g

aller

y

)和测试集合

p

robeset

.

集以外余下的

6992

幅图像,分为表情变化、光照变

化、饰物变化、背景变化、距离变化和时间跨度变化

个子集;对于姿态子库,测试集包括除去原型集中

图像外的、水平深度姿态旋转在

30

以内的共

840

幅姿态变化图像,分为低头、平视、抬头

3

子集

.

考虑到算法泛化能力(也称推广能力)的问题,

严格地讲,训练集合中的图像与测试集合和原型集

合中的图像乃至人物应该是不能有重叠的

.

考虑到

降低问题的难度,参照

FERET

的做法,我们的原型

集合与训练集合中的图像有部分重复

.

而测试集合

中的图像则与训练集合和原型集合中的图像都是严

格没有重复的

.

上述

3

个子集的图像示例如图

12!

所示

.

12

训练集中的图像示例

13

原型集中的图像示例

14

测试集中的正面图像示例

6

21

15

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

15

19

测试集合中姿态图像示例(

32>32

对于

C

我们采用归一化的相关量

orrelation

算法,

15

测试集中的姿态图像示例

5.2

算法性能测试指标

计算方法来计算图像之间的相似度

.

对于

Ei

g

enface

算法,其

PCA

Princi

p

alCom

p

onementAnal

y

sis

)变换

矩阵是对

CAS-PEAL-R1

训练集中所有的

1200

幅图

FERET

FRVT

测试中,对测试结果的表

示有比较详细说明

2-3

.

常用的表示不同系统间测试

结果的方法有

CMC

ClmllativeMatchCharacteristic

曲线和

ROC

RecieiverO

p

erationCharacteristic

曲线

.

在我们的测试中,为了更方便、直观地表现各

个系统在不同测试集合上的识别性能,仅选择了各

个系统在每个测试集合上的首选识别率进行比较,

并将测试结果综合到一个首选识别率柱状图中进行

直观的对比

.

CAS-PEAL-rl

上的基本评测情况

l

特征脸(

Ei

g

enface

)算法和模板匹配(

Correlation

算法的评测设计

Ei

g

enface

算法和

Correlation

算法是人脸识别

领域的两个基准算法,通过对这两个算法的测试,有

助于检验

CAS-PEAL

人脸库的基本难易程度

.

为了有效地去除背景、头发等因素的影响,我们

把测试集中的图像根据双眼中心坐标位置进行了几

何归一化处理,每幅人脸图像被裁剪并缩放到

32>

像素大小

.

此外,为了进一步去除背景信息,我们

在人脸上覆盖了一个掩模,使得每幅图像只包含了

人脸内部特征区域,其最终的效果如图

16!19

.

本文实验中的

Ei

g

enface

算法和

Correlation

算法

都是在这样的图像基础上进行测试的

.

16

训练集合中图像示例(

32>32

17

原型集合中的图像示例(

32>32

18

测试集合中正面图像示例(

32>32

像进行特征值分解得到的,综合考虑计算速度和识

别效果,我们的测试中所保留的主成分特征维数为

2

对商业系统的测试

我们还同时对两个国外最优秀的商业人脸识别

系统在

CAS-PEAL-R1

上的性能进行了初步评测

我们不能公开这两个商业系统的名

字,仅用系统

!

和系统

"

来分别表示)

.

这两个系

统的性能在已有的人脸识别商业系统中被认为是最

好的,通过对这两个系统的评测,可以知道

CAS-

人脸库和本文的测试方法对现有商业系统的

难易度,同时可以发现更多值得进一步研究的课题

方向和关键问题

.

系统

!

和系统

"

对测试图像的大小并没有特

别要求,因此我们在测试过程中直接使用

CAS-

-R1

库中的

360>480

像素大小的图像

.

两个

系统的工作过程如下:

Ste

p

1.

依次读入原型集中的人脸图像和每个人脸图像

的双眼位置坐标,建立每个人的原型模板

.

Ste

p

2.

读入待识别图像

#

$

,自动地在

#

$

中检测人脸的

位置并建立待识别模板,将待识别模板与原型模板进行比

较,输出

#

$

与每个原型的相似度,并最终通过相似度的排序

来完成整个识别过程

.

3

测试结果及分析

我们将

Ei

g

enface

算法、

Correlation

算法、系统

和系统

"

的测试结果综合到一起,取测试结果的

首选识别率进行比较,结果如图

20

21

所示

.

i

g

enface

算法和

Correlation

算法的测试结果不难

看出,在正面子库上,

Ei

g

enface

Correlation

两种

算法除了在背景和距离两个子集上达到或接近了

%

的识别率之外,在表情子集上,两种算法的识别

率不到

60%

,时间跨度子集上识别率不到

50%

,饰

物子集上识别率不到

40%

,而光照子集上识别率还

不到

10%

;在姿态子库上,两个算法对平视姿态变

化的识别率都不到

40%

,而对俯仰姿态变化的识别

率都不到

10%.

测试结果说明,

Ei

g

enface

算法和

orrelation

两个基准算法均不能很好地解决饰物、

600.

6.

(由于种种原因,

PEAL

PEAL

6

6.

32

6.

!

E

80

C

16

计算机辅助设计与图形学学报

2005

表情、光照、时间跨度和姿态变化情况下的识别问

题;对于背景和距离变化的情况,即使对图像事先进

行了几何归一化处理和添加掩模,

Ei

g

enface

算法和

Correlation

算法的识别效果依然不能让人满意

.

中,人脸识别的商业系统对于正面图像的表情、饰

物、背景和距离等变化已经表现出了较强的鲁棒性,

综合性能已经远远超出了基准的识别算法

.

但是,

商业系统在光照和姿态子集上较差的性能也表明,

20CAS-PEAL-R1

正面子库上的测试结果

21CAS-PEAL-R1

姿态子库上的测试结果

对商业系统的测试结果显示,在我们的

6

个测

试子集中,表现最佳的系统

B

对表情、背景、距离和

时间跨度几种变化的识别率已经接近

100%

,对饰

物变化的识别率也已经超过

80%.

系统

A

尽管在

饰物子集上的表现比较差,但在背景、表情和距离子

集上的性能与系统

B

也差别不大

.

我们也看到,对

正面子库中光照变化图像的识别率,表现最佳的系

B

仍然达不到

40%

,系统

A

只有

10%

多一点

.

在姿态子库中,平视状态下水平姿态变化识别率最

高只有

60%

,俯仰状态下的姿态变化识别率最高也

40%

上下

.

这些结果表明,优秀的商业系统尽管

对环境光照模式下的正面图像的饰物、表情、背景、

距离等变化情况已经能够较好地解决识别问题,但

是对复杂光照和较大范围的姿态变化,其识别性能

依然差强人意

.

由测试结果可以看出,在

CAS-PEAL

人脸库

如何提高光照变化条件下的正面图像识别率和姿态

变化条件下的识别率,以及如何进一步提高光照与

姿态组合变化条件下的识别率,这些问题还没有得

到很好的解决,这将是今后人脸识别研究需要重点

关注的问题

.

总结及未来工作

本文介绍了我们建立的

CAS-PEAL

人脸库的

采集平台、创建过程和覆盖的图像变化条件

.

它提

供了一个大型的、多样化的人脸图像数据资源,在一

定程度上弥补了国内在大规模人脸数据库方面的

不足

.

我们测试了

Ei

g

enface

Correlation

两种基准

算法,以及两种商业系统在已经共享的

CAS-PEAL-

人脸库上的性能

.

结果表明:

1

Ei

g

enface

Correlation

算法在

CAS-PEAL-

1

人脸库上的识别性能非常差,这说明该人脸库具

备了一定的难度;

2

)两个最著名商业系统的识别性能远远高于

基准算法,尤其是对表情、背景、距离变化的情况,取

得了接近

100%

的正确识别率,这说明目前的人脸

识别方法对于这些变化已经具备了良好的适应能

力,而对饰物变化的鲁棒性还需要进一步的加强;

3

)两个最著名的商业系统对光照、姿态变化

的识别性能很不理想,这说明光照和姿态变化问题

是人脸识别领域需要进一步研究的关键性问题;

4

)光照和姿态两个子集不仅对于基准算法,

而且对于优秀的商业系统也表现出了较大的难度,

提供了一个光照和姿态变化的人脸图像数据平台,

有望在今后对这两个方面的研究中得到进一步的

应用

.

参考文献

1

Chella

pp

aR

WilsonCL

Sirohe

y

ndmachine

reco

g

nitionoffaces

Asurve

y

J

.Proceedin

g

softheIEEE

1995

83

5

):

704!741

2

Philli

p

sPJohnathon

MoonH

RiZviS

y

edA

GIOI

.The

FERETevaluationmethodolo

gy

forface-reco

g

nitional

g

orithms

J

.IEEETransactionsonPatternAnal

y

sisandMachine

Intelli

g

ence

2000

22

10

):

1090!1104

!

R1

R

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

17

3

Philli

p

sPJ

GrotherPJ

MichealsRJ

!"#$

.Facereco

g

nition

//

vendortest2002

EvaluationRe

p

ort

OL

.htt

p

.

or

g

2003

4

TurkMattheW

g

enfacesforreco

g

nition

J

.

(:

JournalofCo

g

nitiveNeuroscience

1991

31

71!86

5

BelhumeurPeterN

~es

p

anhaJoaoP

Krie

g

manDavidJ.

Ei

g

faces

Reco

g

nitionusin

g

classs

p

ecific

J

.IEEETransactionsonPatternAnal

y

sis

linear

p

ro

j

ection

(:

andMachineIntelli

g

ence

1997

197

711!720

6

Geor

g

hiadesA

Krie

g

manD

Wto

!"#$

.TheCAS-PEAL15

GaoWen

CaoBo

ShanShi

g

uan

g

lar

g

e-scaleChinesefacedatabaseandevaluation

p

rotocols

R

.

Bei

j

in

g

JointResearch&Develo

p

mentLaborator

y

CAS

No.

JDLTR04FR001

2004

男,硕士,主要研

1979

年生,

究方向为人机接口技术

.

张晓华

man

y

Generativemodelsforreco

g

nitionundervariable

p

oseand

illumination

J

.IEEETransactionsonPatternAnal

y

sisand

MachineIntelli

g

ence

2001

23

6

):

643!660

7

SimTerence

BakerSimon

p

ose

illuminationandex

p

ressiondatabase

J

.IEEETransactionson

PatternAnal

y

sisandMachineIntelli

g

ence

2003

25

12

):

1615!1618

8

SamariaFS

~terizationofastochasticmodel

forhumanfaceidentification

A

.In

Proceedin

g

softhe2nd

IEEEWorksho

p

onA

pp

licationsofCom

p

uterVision

Sarasoto

Florida

1994.245!248

9

Don

g

~

y

o

j

a

aceima

g

edatabasePF01

OL

.

htt

p

://

nova.

p

archives

10

MartinezAR

acedatabase

R

.

Barcelona

S

p

ain

Com

p

uterVisionCenter

CVC

),

Technical

Re

p

ort24

1998

11

Baill

y

-BailliereE

Ben

g

ioS

BimbotF

!"#$

.TheBANCA

databaseandevaluation

p

rotocol

A

.In

Proceedin

g

softhe

4thInternationalConferenceonAudio-andVideo-Based

BiometricPersonAuthentication

AVBPA

),

Guildford

2003.

625!638

12

~Wan

g

B-W

B

y

un~

RohM-C

!"#$

.Performance

evaluationoffacereco

g

nitional

g

orithmsontheAsianface

database

KFDB

A

.In

Proceedin

g

softhe4thInternational

ConferenceonAudio-andVideo-BasedBiometricPerson

Authentication

AVBPA

),

Guildford

2003.557!565

13

BlanzV

p

hablemodelforthes

y

nthesisof3D

faces

A

.In

Com

p

uterGra

p

hicsProceedin

g

s

Annual

ConferenceSeries

ACMSIGGRAP~

LosAn

g

eles

California

1999.187!194

14

MesserK

MatasJ

KittlerJ

!"#$

.XM2VTSDB

The

extendedM2VTSdatabase

A

.In

Proceedin

g

softhe2nd

InternationalConferenceonAudio-andVideo-BasedBiometric

PersonAuthentication

Washin

g

tonDC

1999.72!77

山世光男,

1975

年生,博士,助理研

究员,主要研究方向为模式分析与机器智

能(

s

g

shan"

j

.

曹波男,

1977

年生,博士研究生,

主要研究方向为图像分析与模式识别

bcao"

j

.

高文男,

1956

年生,博士,教授,

主要研究方向为多媒体技术、模式分析、机

器智能(

W

g

ao"

j

.

周德龙男,

1966

年生,博士,副教

授,主要研究方向为模式识别与图像处理

dlzhou"

j

.

赵德斌男,

1963

年生,博士,教授,博

士生导师,主要研究方向为图像/视频编解

码方法、多媒体计算(

dbzhao"

j

.

CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍

作者:

作者单位:

刊名:

英文刊名:

年,卷(期):

被引用次数:

张晓华, 山世光, 曹波, 高文, 周德龙, 赵德斌

中国科学院计算技术研究所数字化研究室,北京,100080

计算机辅助设计与图形学学报

JOURNAL OF COMPUTER-AIDED DESIGN & COMPUTER GRAPHICS

2005,17(1)

13次

ps P Johnathon;Moon H;Rizvi Syed A

The FERET evaluation methodology for face-recognition

algorithms[外文期刊] 2000(10)

Wen;Cao Bo;Shan Shiguang

The CAS-PEAL large-scale Chinese face database and evaluation

protocols 2004

-Bailliere E;Bengio S;Bimbot F

The BANCA database and evaluation protocol[外文会议] 2003

ez A R;Benavente R

The AR face database 1998

ppa R;Wilson C L;Sirohey S

Human and machine recognition of faces: A survey[外文期刊]

1995(05)

Hyoja;Gu Nam

Asian face image database PF01

a F S;Harter A C

Parameterization of a stochastic model for human face identification 1994

Terence;Baker Simon;Bsat Maan

The CMU pose, illumination and expression database[外文期刊]

2003(12)

iades A;Kriegman D;Belhumeur P

From few to many: Generative models for recognition under

variable pose and illumination 2001(06)

eur Peter N;Hespanha Joao P;Kriegman David J

Eigenfaces vs. Fisherfaces: Recognition using

class specific linear projection[外文期刊] 1997(07)

Matthew;Pentland Alex

Eigenfaces for recognition 1991(01)

ps P J;Grother P J;Micheals R J

Face recognition vendor test 2002: Evaluation Report 2003

K;Matas J;Kittler J

XM2VTSDB: The extended M2VTS database 1999

V;Vetter T

A morphable model for the synthesis of 3D faces 1999

B -W;Byun H;Roh M -C

Performance evaluation of face recognition algorithms on the Asian

face database,KFDB 2003

1.

童晓阳.张青.刘恒.皮小平

大型中国人人脸库(LCFD)[期刊论文]-计算机应用2003,23(8)

1.孙士明.王芹芹.纪友芳

单样本人脸识别中的虚拟样本扩展方法研究[期刊论文]

-

微计算机应用 2010(9)

2.牛志恒.山世光.陈熙霖

双向层级结构分类器及其在面部特征点定位中的应用[期刊论文]

-

高技术通讯 2010(8)

3.钱艺.童卫青.王基帆

基于多尺度LBP的人脸识别算法[期刊论文]

-

现代计算机(专业版) 2009(8)

4.袁贞明.卢志平

一种基于维度约减的快速人脸检测方法[期刊论文]

-

杭州师范大学学报(自然科学版) 2009(2)

5.张生亮.杨静宇

基于多级分类的大类别人脸识别研究[期刊论文]

-

计算机应用研究 2008(10)

6.唐旭晟.欧宗瑛.苏铁明.胡青泥.华顺刚

人脸识别中基于互信息的特征优选[期刊论文]

-

大连理工大学学报

2008(1)

7.李玉鑑.付翠花

一种基于特征串比较的眉毛识别方法[期刊论文]

-

北京工业大学学报 2008(1)

8.李玉龙.王民.杨全

基于Adaboost与SOFMN的人脸识别[期刊论文]

-

微计算机信息 2007(31)

9.聂祥飞.郭军.杨震

基于小波变换的人脸检测[期刊论文]

-

北京邮电大学学报 2006(3)

10.陈锻生.刘政凯

肤色检测技术综述[期刊论文]

-

计算机学报 2006(2)

11.李全彬

非约束环境下的人脸识别系统的研究[学位论文]硕士 2006

12.梁永涛

基于形状预测模型的多光照人脸识别[学位论文]硕士 2006

13.张生亮

大类别及少量训练样本的人脸识别问题研究[学位论文]博士 2005

本文链接:/Periodical_

2024年3月10日发(作者:伟向荣)

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

17

卷第

1

2005

1

计算机辅助设计与图形学学报

JOURNALOFCOMPUTER-AIDEDDESIGNSCOMPUTERGRAPHICS

Vol.17

No.1

Jan.2005

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

张晓华山世光曹波高文周德龙赵德斌

(中国科学院计算技术研究所数字化研究室

s

g

shan!

北京

100080

摘要人脸图像数据库是人脸识别算法研究、开发、评测的基础,具有重要的意义

.

介绍了自行创建并已经部分共

享的

CAS-PEAL

大规模中国人脸图像数据库及其基准测试结果

.CAS-PEAL

人脸图像数据库中包含了

1040

名中国

人共

涵盖了姿态、表情、饰物和光照

4

种主要变化条件,部

99450

幅头肩部图像

.

所有图像在专门的采集环境中采集,

分人脸图像具有背景、距离和时间跨度的变化测试子库已经公开发布

.

目前该人脸图像数据库的标准训练、

.

与其他

图像变化条件等方面具有综合优势,将对已经公开发布的人脸图像数据库相比,

CAS-PEAL

人脸图像数据库在人数、

人脸识别算法的研究、评测产生积极的影响

作为以东方人为主的人脸图像数据库,

.

同时,

CAS-PEAL

人脸图像数据

库也使人脸识别算法在不同人种之间的比较成为可能,利于人脸识别算法在国内的实用化

.

还给出了两种基准人脸

识别算法(

E

和两个著名商业系统在该人脸图像数据库上的测试结果,定量分析了该人脸图像

i

g

enface

Correlation

数据库对于人脸识别算法的难易程度和人脸识别算法的发展现状

.

关键词人脸识别;人脸图像数据库;性能评测

中图法分类号

TP391

CAS-PEAL

ALar

g

e-ScaleChinesefacedatabaseandSomePrimar

y

Evaluations

Zhan

g

XiaohuaShanShi

g

uan

g

CaoBoGaoWenZhouDelon

g

ZhaoDebin

100080

)(

Di

g

itallab

Instituteo

f

Com

P

utin

g

Technolo

gy

Chineseacadem

y

o

f

Sciences

Bei

j

in

g

Asthebasisofresearch

develo

p

mentandevaluationoffacereco

g

nitional

g

orithms

faceima

g

e

databaseisof

g

reatim

p

p

a

p

er

weintroducetheconstructionandbasiccontentoftheCAS-

PEAL

lar

g

e-scaleChinesefacedatabaseandsome

p

rimar

y

Abstract

CAS-PEALfacedatabaseconsistsof99450facialima

g

ima

g

esinthe

databasewerecollectedins

p

eciall

y

desi

g

nedenvironmentwithfour

p

rinci

p

alvariationsof

p

ose

ex

p

ression

accessor

y

andli

g

htin

g

aswellasthreeothervariationsintermsofback

g

round

distanceanda

g

in

g

.

Currentl

y

thestandardtrainin

g

setand

p

robesetofCAS-PEALfacedatabasehavebeenmade

p

ublicl

y

availableforresearch

p

ur

p

oseonl

y

onacase-b

y

-

p

aredwithother

p

ublicfacedatabases

CAS-

PEALexcelsinitslar

g

e-scaleandvariationmodesandisex

p

ectedtohave

p

ositiveim

p

actonthe

develo

p

mentandevaluationoffacereco

g

nitional

g

tion

asanorientalfaceima

g

edatabase

CAS-PEALmakes

p

ossiblethecom

p

arisonofal

g

orithms

p

erformancebetweendifferentethnic

g

rou

p

sand

willbenefitthea

pp

licationoffacereco

g

nitiontechnolo

gy

p

a

p

eralso

g

ivestheevaluation

resultsoftwobasicfacereco

g

nitional

g

orithms

Ei

g

enfaceandCorrelation

andtwocommercials

y

stems

ex

p

lainsthedifficult

y

ofthedatabasetothefacereco

g

nitional

g

orithmsandanal

y

sesthecurrent

develo

p

mentstatusoffacereco

g

nitiontechnolo

gy

.

Ke

y

wordsfacereco

g

nition

facedatabase

p

erformanceevaluation

收稿日期:修回日期:

2004

-

05

-

10

2004

-

09

-

06

基金项目:国家“八六三”高技术研究发展计划项目(;国家自然科学基金重点项目(

2001AA114010

60332010

10

计算机辅助设计与图形学学报

2005

于其变化模式较少,多数系统的识别率均可以达到

!

引言

因此进一步利用的价值已经不大

90%

以上,

.

[]

7

PF01

人脸库

9

.

由韩国浦项科技大学创

姿态、表情的面

建,包含

103

人的

1751

幅不同光照、

部图像,志愿者以韩国人为主

.

[]

8

AR

人脸库

10

.

由西班牙巴塞罗那计算机

视觉中心建立,包含

116

人的

3288

幅图像

.

采集环

境中的摄像机参数、光照环境、摄像机距离等都是经

人脸识别的研究工作自

20

世纪

60

年代开始以

已成为图像分析和理解来,经历了近

40

年的发展,

1

目前,领域最热门的研究内容之一人脸识别技

.

术已经从实验室中的原型系统逐渐走向了商用,出

1-3

然而,现大量的识别算法和若干商业系统人脸

.

识别的研究仍旧面临着巨大的挑战,人脸图像中姿

过严格控制的

.

态、光照、表情、饰物、背景、时间跨度等因素的变化

对人脸识别算法的鲁棒性有着负面的影响,一直是

影响人脸识别技术进一步实用化的主要障碍

2-3

.

多数人脸识别算法的研究、开发和测试需要更多的

人脸图像来克服上述障碍,主要包括两方面:人脸图

像数据库(简称人脸库)所包含的人数以及人脸库中

每个人所具有的、在不同条件下的人脸图像数

.

目前,人脸识别领域常用的人脸库主要有:

1

FERET

人脸库

2

.

FERET

项目创建,

包含

14051

幅多姿态、光照的灰度人脸图像,是人脸

识别领域应用最广泛的数据库之一

.

其中的多数人

脸图像是西方人的,每个人所包含的人脸图像的变

化比较单一

.

2

MIT

人脸库

4

.

由麻省理工大学媒体实验

室创建,包含

16

位志愿者的

2592

幅不同姿态、光照

和大小的面部图像

.

3

Yale

人脸库

5

.

由耶鲁大学计算视觉与控

制中心创建,包含

15

位志愿者的

165

幅图像,包含

光照、表情和姿态的变化

.

4

Yale

人脸库

B

6

.

包含了

10

个人的

5850

幅多姿态、多光照的图像

.

其中姿态和光照变化的

图像都是在严格控制的条件下采集的,主要用于光

照和姿态问题的建模与分析

.

由于采集人数较少,

该数据库的进一步应用受到了比较大的限制

.

5

PIE

人脸库

7

.

由美国卡耐基梅隆大学创

建,包含

68

位志愿者的

41368

幅多姿态、光照和表

情的面部图像

.

其中的姿态和光照变化图像也是在

严格控制的条件下采集的,目前已经逐渐成为人脸

识别领域的一个重要的测试集合

.

6

ORL

人脸库

8

.

由剑桥大学

AT&T

实验

室创建,包含

40

人共

400

幅面部图像,部分志愿者

的图像包括了姿态、表情和面部饰物的变化

.

该人

脸库在人脸识别研究的早期经常被人们采用,但由

9

BANCA

人脸库

11

.

它是欧洲

BANCA

划的一部分,包含了

208

人、每人

12

幅不同时间段

的面部图像

.

10

KFDB

人脸库

12

.

包含了

1000

人,共

52000

幅多姿态、多光照、多表情的面部图像,其中

姿态和光照变化的图像是在严格控制的条件下采集

.

其志愿者以韩国人为主

.

11

MPI

人脸库

13

.

包含了

200

人的头部

3D

结构数据和

1400

幅多姿态的人脸图像

.

12

XM2VTS

人脸库

14

.

包含了

295

人在

4

个不同时间段的图像和语音视频片断

.

在每个时间

段,每人被记录了

2

个头部旋转的视频片断和

6

语音视频片断

.

此外,其中的

293

人的

3D

模型也可

得到

.

人脸库在提供标准的人脸图像训练、测试集合

的同时,还应该能对影响人脸识别性能的不同情况

进行模拟,以方便研究人员针对不同的关键问题进

行重点研究

.

但是,现有的人脸库大多存在数据量

较小或者图像变化情况比较单一的缺陷,而且提供

面部图像的志愿者多为西方人;由于东西方人在面

部特征上存在一定的差异,使用西方人的面部图像

进行识别系统的研究可能会给我们所开发的技术在

国内的应用带来不利因素

.

因此,建立一个大规模、

多样化的东方人脸库对国内人脸识别技术的发展将

会有极大的推动作用

.

CAS-PEAL

人脸库正是基于上述考虑而创建的

大规模、多变化的东方人脸库

.

该数据库的建立是

国家“八六三”高技术研究发展计划项目课题———

的一部

分,同时得到国家自然科学基金和国家“八六三”高

技术研究发展计划的资助,由中国科学院计算技术

研究所

-

银晨科技面像识别联合实验室负责建立

.

库工作开始于

2002

8

月,

2003

4

月最终完成,

“中文平台总体技术研究与基础数据库建设”

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

11

共采集并整理了

1040

位志愿者(其中

595

位男性,

的共

445

位女性)

99450

幅人脸图像

.CAS-PEAL

脸库中的所有图像分为姿态变化、表情变化、饰物变

化、光照变化、背景变化、距离变化和时间跨度变化

7

种变化模式子库,其中又以姿态(

p

ose

)、表情

(、饰物(和光照(

ex

p

ression

accessor

y

li

g

htin

g

4

变化为主(故简称为

PEAL

.

各个变化模式子库均

可以与姿态变化子库进行组合,以满足研究工作中

的不同要求变化模式两个方

.

本文将从采集环境、

统一的命名规则保存

.

多摄像头同时拍摄获取多角

度图像的方法,与使用单个摄像头拍摄而由被采集

者转动头部获取多角度图像的方法相比,很好地控

制了图像之间的角度变化,能保持角度间隔的一致

性,更有利于研究多视角人脸识别问题

.

()多光源分布环境

为获得一致均匀的自然环境光,同时也为了便

于控制,我们完全遮挡了室外光线,用太阳灯照射粗

糙的白色墙壁,利用其反射光来模拟自然环境光照,

面介绍

CAS-PEAL

人脸库,并结合几种人脸识别算

法和商业系统在该数据库已经发布的基准训练、测

试子库上的测试结果,进一步说明

CAS-PEAL

人脸

库用于人脸识别系统性能评测的难易程度,并简要

分析了目前最好的人脸识别算法的性能

.

CAS-PEAL

人脸库采集环境

采集环境是建立人脸库所需要的基本硬件条

件,包括摄像头和控制设备的布局、光照环境的建立

.

这些硬件的组织和应用将直接影响人脸库的特

性和质量

.

在建立

CAS-PEAL

人脸库之前,我们对

采集环境进行了认真设计,以求在现有的硬件条件

下达到最佳的采集效果

.CAS-PEAL

人脸库的采集

环境主要具有了以下几个特点

.

1

)多角度摄像头图像采集系统

为获得多角度的人脸面部图像,我们采用了多

摄像头的采集系统布局

.

编号从

0!

9

个摄像

头在半圆形框架上成等角度分布,摄像头分布示意

图如图

1

所示

.

被采集对象位于半圆形摄影架的圆

心位置,调整椅子高度以使被采集人正对

!

4

摄像

.9

个摄像头通过

S

连接线连接到

PC

机,由程

序统一控制

9

个摄像头进行拍摄

.

每次拍摄时,

0!

号摄像头依次抓取图像(总耗时小于

s

),并按照

1

摄像头在水平面上的排列

模拟自然环境光的光源叫作环境光源

.

为了获取不同光照条件下的面部图像,我们在

个垂直方向(上、中、下)和每个垂直方向的

5

个水

平方向上共布置了

15

个光源,并按照光源所处的垂

直和水平位置分别对每个光源进行了编号

.

由于这

个光源对被拍摄者的面部来说都具有很强的方

向性,因此我们称这

15

个光源为方向光源

.

方向光

源的分布示意图如图

所示

.

光照设备布局

在多光照模式的拍摄过程中,首先关闭所有光

源,每次只打开

1

个方向光源进行拍摄

.

每次变换

方向光,

9

个摄像头都同时工作,采集

9

幅不同角度

的面部图像

.

多光源分布环境结合多角度的摄像头

系统,使得我们的光照变化图像更加丰富,有利于研

究者研究多光照条件下的人脸识别问题

.

)多饰物选择

我们预备了

种不同样式的眼镜和

种不同样

式的帽子,要求被采集者依次佩戴这

种饰物进行

拍摄

.

每次更换饰物,

9

个摄像头均同时工作拍摄不

同视角的图像

.

15

2

12

计算机辅助设计与图形学学报

2005

4

)背景变化

很多情况下,进行人脸识别时所用的摄像头被

打开了自动白平衡功能

.

在遇到背景颜色变化的情

况时,由于摄像头的白平衡功能,所摄取的图像会有

较大的色彩变化

我们在采集环境中设置了

5.

因此,

种不同颜色的背景,默认的拍摄背景为蓝色;此外,

在红色、黑色、黄色、白色背景条件下各进行了一次

环境光照模式的图像拍摄

.

在多光照模式的拍摄情

况下,我们也采用了白色背景每次变换背

.

同样地,

景,

9

个摄像头同时拍摄不同视角图像

.

1

)姿态子库

在环境光照模式下,要求志愿者变换平视、抬

头、低头

3

种姿态分别进行拍摄,每次变换俯仰姿态

时,多角度摄像头系统一次拍摄,可同时获得同一俯

仰姿态下的、

9

幅水平深度旋转姿态变化的图像

.

此,姿态子库中的每个志愿者有

27

幅环境光照模式

下的标准姿态变化图像

.

姿态变化图像示例如图

3

所示

.

2

)表情子库

环境光照模式下,要求志愿者做出笑、皱眉、惊

讶、闭眼、张嘴

5

种表情,这

5

种都是造成面部特征

变化比较大的表情,有利于研究人脸识别算法对表

情变化的鲁棒性

.

表情子库的示例如图

4

所示

.

3

)饰物子库

环境光照模式下,志愿者佩戴

3

种不同的帽子

3

种不同的眼镜,如图

5

所示

.

3CAS-PEAL

人脸库图像变化模式介绍

CAS-PEAL

人脸库中总共包括

1040

人,

99450

幅人脸图像,这些图像可以划分为姿态、表情、背景、

饰物、光照、距离和时间等

7

个子库

.

3

每人的

27

幅姿态变化图像

4

表情子库中

5

种不同的表情

5

饰物子库中的

3

种帽子、

3

种眼镜饰物

4

)光照子库

采集光照子库图像时,环境光源关闭,每次打开

一个方向光源进行图像采集,如图

6

所示

.

5

)背景子库

红色、黑色、白

5

种不同的背景颜色包括蓝色、

色和黄色由于摄像头的白平衡

.

环境光照模式下,

功能,面部图像的色彩分布在每种背景颜色条件下

均有不同,如图

7

所示

.

6

)距离子库

环境光照模式下,改变志愿者与摄像头的相对

距离,获取到距离子库中每个志愿者的

3

种不同距

离的面部图像,其示例如图

8

所示

.

7

)时间跨度子库

随着时间的改变,人的面部特征会有一定的变

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

13

化引入了时间跨度子库,子库

.

在我们的人脸库中,

中的志愿者图像距离他们第一次被采集的图像有

6

个月的时间跨度,其图像示例如图

9

所示

.

6

光照子库中的

15

种方向光

7

背景子库中的蓝、红、黑、白、黄色

5

种背景

面图像子库和姿态图像子库

.

正面图像子库中包含

1040

人的共

9060

幅图像,

其中的所有图像均由编号为

!

4

的摄像头拍摄

.

库中涉及的变化条件如表

1

所示,其中,

377

人有

6

8

距离子库中

3

种不同的距离下的图像

种表情变化的图像,

438

人有

6

种面部饰物变化的

图像,

233

人有至少

9

种光照变化的图像,

297

人有

2!4

种背景变化的图像,

296

人有

1!2

种距离变化

的图像;此外,还有

66

人有

2

幅时间跨度变化的

图像

.

lCAS-PEAL-rl

的正面图像子库和姿态子库的图像情况

变化种类

正面子库标准

表情

1

5

!

"9

6

2!4

1!2

1

!

正面子库图像总数

姿态子库(

213>7

1040

人数

1040

377

233

438

297

296

66

图像数目

1040

1884

2450

2646

650

324

66

9060

21840

21840

9

时间跨度子库,第二行的图像为第一次

采集

6

个月后再次拍摄的图像

光照

饰物

背景

4CAS-PEAL-rl

共享人脸库

距离

时间

为了方便国内外人脸识别领域的研究者使用

我们提供了

CASCAS-PEAL

人脸库,

-PEAL

人脸库

[]

的共享版本

CAS-PEAL-r1

-PEAL-r1

15

.CAS

享库包含分为两个子库:正

1040

人的

30900

幅图像,

姿态子库图像总数

!

中性表情的标准正面图像没有包括在内

14

计算机辅助设计与图形学学报

2005

姿态图像子库中包含

1040

人的共

21840

幅图

像,每人

21

幅姿态变化的图像

.

姿态变化包括了

3

种俯仰姿态变化(抬头、平视、低头)和每种俯仰姿态

下的

7

种水平深度旋转姿态变化

.

CAS-PEAL

人脸库中的原图像为

640>480

素,

24

RGB

色彩的

BMP

位图图像

.

为了方便图

像的发布和共享,

CAS-PEAL-R1

库中的图像全部在

原图像的基础上进行了处理

.

图像大小被裁剪为

并去除了颜色信息转换为灰度图

360>480

像素,

训练集合多

.

除了模板匹配等少数简单算法,

数人脸识别算法都是需要进行训练的

我们

.

因此,

从正面子库中随机选择

300

人,每人随机选择

4

正面图像,共

1200

幅图像构成训练集

.

原型图像集合

.

提供给算法为待识别人员建立

识别原型的图像子集,包含

1040

人,每人

1

幅标准

正面图像(正面平视,环境光照,中性表情,无饰物);

测试集合

.

提供给算法进行识别测试的图像子

集测试集包括除去训练集和原型

.

对于正面子库,

像,图像格式为

BMP

位图格式

.

这样,整个

CAS-

PEAL-R1

库的数据量为

5GB

左右,其图像示例如

10!11

所示

.

10CAS-PEAL-R1

正面图像子库中的图像示例

11CAS-PEAL-R1

姿态图像子库中的图像示例

5CAS-PEAL-rl

建议评测协议

人脸识别系统的评测工作的目的是为了评价各

个识别系统的性能差距,并指导人脸识别领域未来

的研究方向

.

要达到这个目的,评测方法的设计尤为

重要

.

科学的评测方法应该能够解决著名的“三熊问

题”(

Threebears

p

roblem

2

,即对所有待测算法或系

统来说,评测不能太难,以致超出了现有系统的识别

能力;也不能太简单,使得对所有系统的测试结果都

非常好

.

要解决“三熊问题”,就需要仔细地选择数据

库并合理地制定评测协议

.

本节主要介绍我们建议的

基于

CAS-PEAL-R1

的评测协议,包括标准训练、测试

集合划分和评测性能指标等方面的内容

.

-PEAL-rl

标准训练、测试集合划分

根据待测试算法的特性,我们从

CAS-PEAL-R1

库中整理出了三个大的集合,分别作为训练集合

trainin

g

set

)、原型图像集合(

g

aller

y

)和测试集合

p

robeset

.

集以外余下的

6992

幅图像,分为表情变化、光照变

化、饰物变化、背景变化、距离变化和时间跨度变化

个子集;对于姿态子库,测试集包括除去原型集中

图像外的、水平深度姿态旋转在

30

以内的共

840

幅姿态变化图像,分为低头、平视、抬头

3

子集

.

考虑到算法泛化能力(也称推广能力)的问题,

严格地讲,训练集合中的图像与测试集合和原型集

合中的图像乃至人物应该是不能有重叠的

.

考虑到

降低问题的难度,参照

FERET

的做法,我们的原型

集合与训练集合中的图像有部分重复

.

而测试集合

中的图像则与训练集合和原型集合中的图像都是严

格没有重复的

.

上述

3

个子集的图像示例如图

12!

所示

.

12

训练集中的图像示例

13

原型集中的图像示例

14

测试集中的正面图像示例

6

21

15

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

15

19

测试集合中姿态图像示例(

32>32

对于

C

我们采用归一化的相关量

orrelation

算法,

15

测试集中的姿态图像示例

5.2

算法性能测试指标

计算方法来计算图像之间的相似度

.

对于

Ei

g

enface

算法,其

PCA

Princi

p

alCom

p

onementAnal

y

sis

)变换

矩阵是对

CAS-PEAL-R1

训练集中所有的

1200

幅图

FERET

FRVT

测试中,对测试结果的表

示有比较详细说明

2-3

.

常用的表示不同系统间测试

结果的方法有

CMC

ClmllativeMatchCharacteristic

曲线和

ROC

RecieiverO

p

erationCharacteristic

曲线

.

在我们的测试中,为了更方便、直观地表现各

个系统在不同测试集合上的识别性能,仅选择了各

个系统在每个测试集合上的首选识别率进行比较,

并将测试结果综合到一个首选识别率柱状图中进行

直观的对比

.

CAS-PEAL-rl

上的基本评测情况

l

特征脸(

Ei

g

enface

)算法和模板匹配(

Correlation

算法的评测设计

Ei

g

enface

算法和

Correlation

算法是人脸识别

领域的两个基准算法,通过对这两个算法的测试,有

助于检验

CAS-PEAL

人脸库的基本难易程度

.

为了有效地去除背景、头发等因素的影响,我们

把测试集中的图像根据双眼中心坐标位置进行了几

何归一化处理,每幅人脸图像被裁剪并缩放到

32>

像素大小

.

此外,为了进一步去除背景信息,我们

在人脸上覆盖了一个掩模,使得每幅图像只包含了

人脸内部特征区域,其最终的效果如图

16!19

.

本文实验中的

Ei

g

enface

算法和

Correlation

算法

都是在这样的图像基础上进行测试的

.

16

训练集合中图像示例(

32>32

17

原型集合中的图像示例(

32>32

18

测试集合中正面图像示例(

32>32

像进行特征值分解得到的,综合考虑计算速度和识

别效果,我们的测试中所保留的主成分特征维数为

2

对商业系统的测试

我们还同时对两个国外最优秀的商业人脸识别

系统在

CAS-PEAL-R1

上的性能进行了初步评测

我们不能公开这两个商业系统的名

字,仅用系统

!

和系统

"

来分别表示)

.

这两个系

统的性能在已有的人脸识别商业系统中被认为是最

好的,通过对这两个系统的评测,可以知道

CAS-

人脸库和本文的测试方法对现有商业系统的

难易度,同时可以发现更多值得进一步研究的课题

方向和关键问题

.

系统

!

和系统

"

对测试图像的大小并没有特

别要求,因此我们在测试过程中直接使用

CAS-

-R1

库中的

360>480

像素大小的图像

.

两个

系统的工作过程如下:

Ste

p

1.

依次读入原型集中的人脸图像和每个人脸图像

的双眼位置坐标,建立每个人的原型模板

.

Ste

p

2.

读入待识别图像

#

$

,自动地在

#

$

中检测人脸的

位置并建立待识别模板,将待识别模板与原型模板进行比

较,输出

#

$

与每个原型的相似度,并最终通过相似度的排序

来完成整个识别过程

.

3

测试结果及分析

我们将

Ei

g

enface

算法、

Correlation

算法、系统

和系统

"

的测试结果综合到一起,取测试结果的

首选识别率进行比较,结果如图

20

21

所示

.

i

g

enface

算法和

Correlation

算法的测试结果不难

看出,在正面子库上,

Ei

g

enface

Correlation

两种

算法除了在背景和距离两个子集上达到或接近了

%

的识别率之外,在表情子集上,两种算法的识别

率不到

60%

,时间跨度子集上识别率不到

50%

,饰

物子集上识别率不到

40%

,而光照子集上识别率还

不到

10%

;在姿态子库上,两个算法对平视姿态变

化的识别率都不到

40%

,而对俯仰姿态变化的识别

率都不到

10%.

测试结果说明,

Ei

g

enface

算法和

orrelation

两个基准算法均不能很好地解决饰物、

600.

6.

(由于种种原因,

PEAL

PEAL

6

6.

32

6.

!

E

80

C

16

计算机辅助设计与图形学学报

2005

表情、光照、时间跨度和姿态变化情况下的识别问

题;对于背景和距离变化的情况,即使对图像事先进

行了几何归一化处理和添加掩模,

Ei

g

enface

算法和

Correlation

算法的识别效果依然不能让人满意

.

中,人脸识别的商业系统对于正面图像的表情、饰

物、背景和距离等变化已经表现出了较强的鲁棒性,

综合性能已经远远超出了基准的识别算法

.

但是,

商业系统在光照和姿态子集上较差的性能也表明,

20CAS-PEAL-R1

正面子库上的测试结果

21CAS-PEAL-R1

姿态子库上的测试结果

对商业系统的测试结果显示,在我们的

6

个测

试子集中,表现最佳的系统

B

对表情、背景、距离和

时间跨度几种变化的识别率已经接近

100%

,对饰

物变化的识别率也已经超过

80%.

系统

A

尽管在

饰物子集上的表现比较差,但在背景、表情和距离子

集上的性能与系统

B

也差别不大

.

我们也看到,对

正面子库中光照变化图像的识别率,表现最佳的系

B

仍然达不到

40%

,系统

A

只有

10%

多一点

.

在姿态子库中,平视状态下水平姿态变化识别率最

高只有

60%

,俯仰状态下的姿态变化识别率最高也

40%

上下

.

这些结果表明,优秀的商业系统尽管

对环境光照模式下的正面图像的饰物、表情、背景、

距离等变化情况已经能够较好地解决识别问题,但

是对复杂光照和较大范围的姿态变化,其识别性能

依然差强人意

.

由测试结果可以看出,在

CAS-PEAL

人脸库

如何提高光照变化条件下的正面图像识别率和姿态

变化条件下的识别率,以及如何进一步提高光照与

姿态组合变化条件下的识别率,这些问题还没有得

到很好的解决,这将是今后人脸识别研究需要重点

关注的问题

.

总结及未来工作

本文介绍了我们建立的

CAS-PEAL

人脸库的

采集平台、创建过程和覆盖的图像变化条件

.

它提

供了一个大型的、多样化的人脸图像数据资源,在一

定程度上弥补了国内在大规模人脸数据库方面的

不足

.

我们测试了

Ei

g

enface

Correlation

两种基准

算法,以及两种商业系统在已经共享的

CAS-PEAL-

人脸库上的性能

.

结果表明:

1

Ei

g

enface

Correlation

算法在

CAS-PEAL-

1

人脸库上的识别性能非常差,这说明该人脸库具

备了一定的难度;

2

)两个最著名商业系统的识别性能远远高于

基准算法,尤其是对表情、背景、距离变化的情况,取

得了接近

100%

的正确识别率,这说明目前的人脸

识别方法对于这些变化已经具备了良好的适应能

力,而对饰物变化的鲁棒性还需要进一步的加强;

3

)两个最著名的商业系统对光照、姿态变化

的识别性能很不理想,这说明光照和姿态变化问题

是人脸识别领域需要进一步研究的关键性问题;

4

)光照和姿态两个子集不仅对于基准算法,

而且对于优秀的商业系统也表现出了较大的难度,

提供了一个光照和姿态变化的人脸图像数据平台,

有望在今后对这两个方面的研究中得到进一步的

应用

.

参考文献

1

Chella

pp

aR

WilsonCL

Sirohe

y

ndmachine

reco

g

nitionoffaces

Asurve

y

J

.Proceedin

g

softheIEEE

1995

83

5

):

704!741

2

Philli

p

sPJohnathon

MoonH

RiZviS

y

edA

GIOI

.The

FERETevaluationmethodolo

gy

forface-reco

g

nitional

g

orithms

J

.IEEETransactionsonPatternAnal

y

sisandMachine

Intelli

g

ence

2000

22

10

):

1090!1104

!

R1

R

1

期张晓华等:

CAS-PEAL

大规模中国人脸图像数据库及其基本评测介绍

17

3

Philli

p

sPJ

GrotherPJ

MichealsRJ

!"#$

.Facereco

g

nition

//

vendortest2002

EvaluationRe

p

ort

OL

.htt

p

.

or

g

2003

4

TurkMattheW

g

enfacesforreco

g

nition

J

.

(:

JournalofCo

g

nitiveNeuroscience

1991

31

71!86

5

BelhumeurPeterN

~es

p

anhaJoaoP

Krie

g

manDavidJ.

Ei

g

faces

Reco

g

nitionusin

g

classs

p

ecific

J

.IEEETransactionsonPatternAnal

y

sis

linear

p

ro

j

ection

(:

andMachineIntelli

g

ence

1997

197

711!720

6

Geor

g

hiadesA

Krie

g

manD

Wto

!"#$

.TheCAS-PEAL15

GaoWen

CaoBo

ShanShi

g

uan

g

lar

g

e-scaleChinesefacedatabaseandevaluation

p

rotocols

R

.

Bei

j

in

g

JointResearch&Develo

p

mentLaborator

y

CAS

No.

JDLTR04FR001

2004

男,硕士,主要研

1979

年生,

究方向为人机接口技术

.

张晓华

man

y

Generativemodelsforreco

g

nitionundervariable

p

oseand

illumination

J

.IEEETransactionsonPatternAnal

y

sisand

MachineIntelli

g

ence

2001

23

6

):

643!660

7

SimTerence

BakerSimon

p

ose

illuminationandex

p

ressiondatabase

J

.IEEETransactionson

PatternAnal

y

sisandMachineIntelli

g

ence

2003

25

12

):

1615!1618

8

SamariaFS

~terizationofastochasticmodel

forhumanfaceidentification

A

.In

Proceedin

g

softhe2nd

IEEEWorksho

p

onA

pp

licationsofCom

p

uterVision

Sarasoto

Florida

1994.245!248

9

Don

g

~

y

o

j

a

aceima

g

edatabasePF01

OL

.

htt

p

://

nova.

p

archives

10

MartinezAR

acedatabase

R

.

Barcelona

S

p

ain

Com

p

uterVisionCenter

CVC

),

Technical

Re

p

ort24

1998

11

Baill

y

-BailliereE

Ben

g

ioS

BimbotF

!"#$

.TheBANCA

databaseandevaluation

p

rotocol

A

.In

Proceedin

g

softhe

4thInternationalConferenceonAudio-andVideo-Based

BiometricPersonAuthentication

AVBPA

),

Guildford

2003.

625!638

12

~Wan

g

B-W

B

y

un~

RohM-C

!"#$

.Performance

evaluationoffacereco

g

nitional

g

orithmsontheAsianface

database

KFDB

A

.In

Proceedin

g

softhe4thInternational

ConferenceonAudio-andVideo-BasedBiometricPerson

Authentication

AVBPA

),

Guildford

2003.557!565

13

BlanzV

p

hablemodelforthes

y

nthesisof3D

faces

A

.In

Com

p

uterGra

p

hicsProceedin

g

s

Annual

ConferenceSeries

ACMSIGGRAP~

LosAn

g

eles

California

1999.187!194

14

MesserK

MatasJ

KittlerJ

!"#$

.XM2VTSDB

The

extendedM2VTSdatabase

A

.In

Proceedin

g

softhe2nd

InternationalConferenceonAudio-andVideo-BasedBiometric

PersonAuthentication

Washin

g

tonDC

1999.72!77

山世光男,

1975

年生,博士,助理研

究员,主要研究方向为模式分析与机器智

能(

s

g

shan"

j

.

曹波男,

1977

年生,博士研究生,

主要研究方向为图像分析与模式识别

bcao"

j

.

高文男,

1956

年生,博士,教授,

主要研究方向为多媒体技术、模式分析、机

器智能(

W

g

ao"

j

.

周德龙男,

1966

年生,博士,副教

授,主要研究方向为模式识别与图像处理

dlzhou"

j

.

赵德斌男,

1963

年生,博士,教授,博

士生导师,主要研究方向为图像/视频编解

码方法、多媒体计算(

dbzhao"

j

.

CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍

作者:

作者单位:

刊名:

英文刊名:

年,卷(期):

被引用次数:

张晓华, 山世光, 曹波, 高文, 周德龙, 赵德斌

中国科学院计算技术研究所数字化研究室,北京,100080

计算机辅助设计与图形学学报

JOURNAL OF COMPUTER-AIDED DESIGN & COMPUTER GRAPHICS

2005,17(1)

13次

ps P Johnathon;Moon H;Rizvi Syed A

The FERET evaluation methodology for face-recognition

algorithms[外文期刊] 2000(10)

Wen;Cao Bo;Shan Shiguang

The CAS-PEAL large-scale Chinese face database and evaluation

protocols 2004

-Bailliere E;Bengio S;Bimbot F

The BANCA database and evaluation protocol[外文会议] 2003

ez A R;Benavente R

The AR face database 1998

ppa R;Wilson C L;Sirohey S

Human and machine recognition of faces: A survey[外文期刊]

1995(05)

Hyoja;Gu Nam

Asian face image database PF01

a F S;Harter A C

Parameterization of a stochastic model for human face identification 1994

Terence;Baker Simon;Bsat Maan

The CMU pose, illumination and expression database[外文期刊]

2003(12)

iades A;Kriegman D;Belhumeur P

From few to many: Generative models for recognition under

variable pose and illumination 2001(06)

eur Peter N;Hespanha Joao P;Kriegman David J

Eigenfaces vs. Fisherfaces: Recognition using

class specific linear projection[外文期刊] 1997(07)

Matthew;Pentland Alex

Eigenfaces for recognition 1991(01)

ps P J;Grother P J;Micheals R J

Face recognition vendor test 2002: Evaluation Report 2003

K;Matas J;Kittler J

XM2VTSDB: The extended M2VTS database 1999

V;Vetter T

A morphable model for the synthesis of 3D faces 1999

B -W;Byun H;Roh M -C

Performance evaluation of face recognition algorithms on the Asian

face database,KFDB 2003

1.

童晓阳.张青.刘恒.皮小平

大型中国人人脸库(LCFD)[期刊论文]-计算机应用2003,23(8)

1.孙士明.王芹芹.纪友芳

单样本人脸识别中的虚拟样本扩展方法研究[期刊论文]

-

微计算机应用 2010(9)

2.牛志恒.山世光.陈熙霖

双向层级结构分类器及其在面部特征点定位中的应用[期刊论文]

-

高技术通讯 2010(8)

3.钱艺.童卫青.王基帆

基于多尺度LBP的人脸识别算法[期刊论文]

-

现代计算机(专业版) 2009(8)

4.袁贞明.卢志平

一种基于维度约减的快速人脸检测方法[期刊论文]

-

杭州师范大学学报(自然科学版) 2009(2)

5.张生亮.杨静宇

基于多级分类的大类别人脸识别研究[期刊论文]

-

计算机应用研究 2008(10)

6.唐旭晟.欧宗瑛.苏铁明.胡青泥.华顺刚

人脸识别中基于互信息的特征优选[期刊论文]

-

大连理工大学学报

2008(1)

7.李玉鑑.付翠花

一种基于特征串比较的眉毛识别方法[期刊论文]

-

北京工业大学学报 2008(1)

8.李玉龙.王民.杨全

基于Adaboost与SOFMN的人脸识别[期刊论文]

-

微计算机信息 2007(31)

9.聂祥飞.郭军.杨震

基于小波变换的人脸检测[期刊论文]

-

北京邮电大学学报 2006(3)

10.陈锻生.刘政凯

肤色检测技术综述[期刊论文]

-

计算机学报 2006(2)

11.李全彬

非约束环境下的人脸识别系统的研究[学位论文]硕士 2006

12.梁永涛

基于形状预测模型的多光照人脸识别[学位论文]硕士 2006

13.张生亮

大类别及少量训练样本的人脸识别问题研究[学位论文]博士 2005

本文链接:/Periodical_

发布评论

评论列表 (0)

  1. 暂无评论