2024年5月23日发(作者：捷秋)
基于０Ｖ７６７０的疲劳驾驶预警系统
陆晓，冯 桑，呙 腾，黄超
（广东工业大学，广东广州 ５１０００６）
摘要：介绍一种用０Ｖ７６７０图像传感器采集图像数据，并以ＭＦＣ上位机处理图像的系统设计。此设计实现了图
像数据的采集与处理，并可根据图像数据判断驾驶员的疲劳状态并给出预警。
关键词：图像传感器；图像处理；模板匹配；ＰＥＲＣＬＯＳ
中图分类号：Ｕ４６３．６ 文献标识码：Ａ 文章编号：１００３—８６３９（２０１３）０２—００２２—０４
Ｖｅｈｉｃｌｅ Ｉｍａｇｅ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ ＯＶ７６７０
ＬＵ Ｘｉａｏ，ＦＥＮＧ Ｓａｎｇ，ＧＵＯ Ｔｅｎｇ，ＨＵＡＮＧ Ｃｈａｏ
（Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ ５１０００６，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅ ａｕｔｈｏｒ ｉｎｔｒｏｄｕｃｅｓ ａ ｓｙｓｔｅｍ ｔｈａｔ ｃｏｌｌｅｃｔｓ ｉｍａｇｅ ｄａｔａ ｂｙ ｔｈｅ ０Ｖ７６７０ ｉｍａｇｅ ｓｅｎｓｏｒ ａｎｄ ｐｒｏｃｅｓｓ
ａｎｄ ｄｉｓｐｌａｙ ｉｍａｇｅ ｔｈｒｏｕｇｈ ＭＦＣ ｐｒｏｇｒａｍ．Ｔｈｉｓ ｄｅｓｉｇｎ ｒｅａｌｉｚｅｓ ｔｈｅ ｉｍａｇｅ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｃａｎ
ｊｕｄｇｅ ｔｈｅ ｆａｔｉｇｕｅ ｏｆ ｔｈｅ ｄｒｉｖｅｒ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｉｍａｇｅ ｄａｔａ ａｎｄ ｇｉｖｅ ｅａｒｌｙ ｗａｒｎｉｎｇ．
Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｓｅｎｓｏｒ；ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ；ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ；ＰＥＲＣＬＯＳ
疲劳驾驶是交通事故的一个主要原因．如果能
在疲劳产生的初期给驾驶员进行预警提示，那么就
会大大减少交通事故的发生。因此，在驾驶中实时
监测驾驶员的疲劳状况成为当前国内外研究的热
点。目前，疲劳驾驶的检测方法主要包括检测驾驶
员的生理特征，如脑电图、眼电图、心电图等…，
检测驾驶员身体动作特征，如眼部的动作变化 、
驾驶员头部动作与特征 ］、手部特征（利用转向盘
上的传感器检测驾驶员对转向盘施加的压力，来判
断是否疲劳驾驶的安全装置［７ ）。其中，检测驾驶员
眼部特征的方法由于其直接、非接触性等优点，是
目前被广泛采用的方法。
１ 基于人眼识别疲劳判断理论基础
１．１ ＰＥＲＣＬＯＳ方法介绍
ＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔａｇｅ ｏｆ Ｅｙｅｌｉｄ Ｃｌｏｓｕｒｅ Ｏｖｅｒ
内采集到的有效帧数；卜疲劳评价系数。
当眼睛闭合超过８０％时Ｐ（ｔ）＝１，反之Ｐ（ｔ）＝０。
如果ＰＥＲＣＬＯＳ大于４０％，就认为驾驶员处于疲劳状
态［ 。
１．２人眼识别流程
准确地识别人眼是判断驾驶员疲劳状况的关键
环节。常用的人眼识别方法有：①模板匹配法：通
过在输入图像上滑动图像块，对实际的图像块和输
入图像进行匹配；②灰度投影法：利用人脸特征的
灰度值差别和人脸的几何分布关系确定人眼位置。
本文采取模板匹配与灰度投影结合的方法来进
行人眼的识别，先用模板匹配找出眼睛所在的区
域，然后对人眼区域进行灰度投影，得出人眼的开
闭状况
２硬件系统的总体设计
ｔｈｅ Ｐｕｐｉｌ ｏｖｅｒ ｔｉｍｅ）是由卡内基梅隆研究所提出的，
指的是在一定的时间内眼睛闭合所占的时间比例。
在实际应用过程中，眼睛闭合程度超过某一标准的
时间占某一特定时间的百分比，表现出与驾驶疲劳
程度较好的相关性。通过摄像头获取驾驶员眼睛闭
合时间的数据．作为判断驾驶员疲劳程度的依据。
系统主要包括０Ｖ７６７０ ＣＭＯＳ摄像头、ＦＩＦＯ存储
芯片ＡＬ４２２Ｂ、ＡＶＲ单片机以及处理图像的车载ＰＣ。
硬件结构如图１所示。其中，摄像头采用０Ｖ７６７０摄
ＯＶ７６７０ ＣＭＯＳ摄像头 ＦＩＦＯ存储芯片ＡＬ４２２Ｂ
配置ｌｌ １
配置
图像数据 ］ｃ图像数据 图像数据
ＥＰ（ｔ）
ＰＥＲｃＬ０ｓ计算公式：ＰＥＲＣＬＯｓ＝— 一＜
式中：Ｐ（ ）——眼睛的开闭状况；Ⅳ＿一￡时间
收稿日期：２０１２－ｌ１—０５
ＡＶＲ单片机芯片ＡＴＭＥＧＡ１６Ｌ
图像数据
车载ＰＣ
图１ 系统硬件结构示意图
作者简介：陆晓（１９８７一），男，硕士，主要从事疲劳预警相关理论与技术的研究。
乏 《汽车电器》２ｏ１３年第２期
像头，其灵敏度高，可以使用低电压驱动，具有标
准的ＳＣＣＢ接口，支持ＶＧＡ、ＹＵＶ４２２、ＲＧＢ５６５等格
式输出。ＡＩＡ２２Ｂ作为ＦＩＦＯ存储芯片，存储采集到
的图像信息。ＡＶＲ芯片ＡＴＭＥＧＡ１６Ｌ设置摄像头的
工作参数，从ＡＩＡ２２Ｂ读取图像数据并传送到车载
ＰＣ进行处理
系统上电后，首先由摄像头采集图像信息并将
其存储在Ａ１４２２Ｂ存储芯片中．然后由ＡＴＭＥＧＡ１６Ｌ
起时主机驱动ＳＣＬ为０；ＳＤＡ为双向数据传输线，既
可以由主机驱动也可以由从机驱动。当总线空闲时
保持浮动，状态不固定（０、１或三态高阻）。当总
线挂起时，驱动ＳＤＡ为０。为了不让该总线产生未
知的状态，主机和从机必须保持ＳＤＡ的电平。
图４为０Ｖ７６７０、ＡＴＭＥＧＡ１６Ｌ与ＡＬ４２２Ｂ的接线
图，ＨＲＥＦ为行同步信号．ＶＳＹＮＣ为场同步信号。
ＳＣＬ与ＳＤＡ分别是ＳＣＣＢ总线的时钟线与数据线。其
读取图像数据并将其传送到车载ＰＣ，车载ＰＣ对图
像进行处理。识别人眼的状态．再根据ＰＥＲＣＬＯＳ方
法判断驾驶员的疲劳状况．从而给出预警信息。
３图像采集
数字图像采集中常
用的有ＣＭＯＳ（Ｃｏｍｐｌｅ．
ｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ——
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）与ＣＣＤ
（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）
摄像头，与ＣＣＤ相比．
ＣＭＯＳ具有灵敏度高、
分辨率高、低功耗以及
成本低廉等优势，所以
本文采用ＣＭＯＳ摄像头
图２ ０Ｖ７６７０摄像头
０Ｖ７６７０（图２）。
３．１ ＯＶ７６７０的结构及其工作原理
ＯＶ７６７０摄像头是整个系统的最前端，其集成
了一个６４０ｘ４８０的感光阵列、帧（行）控制电路、
视频时序产生电路、模拟信号处理电路、Ａ／Ｄ转换
电路、数字信号输出电路及寄存器ＳＣＣＢ编程接口。
感光阵列得到原始的彩色图像信号后，模拟处理电
路完成诸如颜色分离与均衡、增益控制、ｇａｍｍａ校
正、白电平调整等主要的信号处理工作，最后可根
据需要输出多种标准的视频信号。视频时序产生电
路用于产生行同步、场同步、混合视频同步等多种
同步信号和像素时钟等多种内部时钟信号，外部控
制器可通过ＳＣＣＢ总线接口设置或读取０Ｖ７６７０的工
作状态、工作方式以及数据的输出格式等。其ＳＣＣＢ
控制时序如图３所示。
图３ ＳＣＣＢ时序图
其中，ＳＣＬ为由主机发出的单向信号线，输出
时钟信号，总线空闲时主机驱动ＳＣＬ为ｌ，当总线挂
中ＶＳＹＮＣ为场同步信号，其下降沿表示一帧图像的
开始，ＨＲＥＦ为行同步信号，高电平时表示一行的
图像数据开始输出。一帧图像开始后，仅当ＨＲＥＦ
为高，ＰＣＬＫ上升沿时，数据为有效的像素值。对
图像数据的采集是通过中断触发的，这里用
ＶＳＹＮＣ、ＨＲＥＦ、ＰＣＬＫ的上升沿触发３个中断。当
采集到ＶＳＹＮＣ中断时开始一帧图像数据的采集．
ＨＲＥＦ中断到来时开始采集一行图像数据．一行数
据采集完成后，等待下次ＨＲＥＦ中断，开始采集下
一
行数据，以此类推。对ＨＲＥＦ中断采集４８０次，就
得￣ｌＪ６４０ｘ４８０像素点的一帧图像的数据。
ＶＣＣ
ＶＣＣ ＶＣＣ ＰＣ６ ＷＥＮ ＶＣＣ
ＧＮＤ ＳＣＬ
ＰＤ４ ＰＣ１
ＯＥ／ＣＳ ＧＮＤ
ＳＤＡ
ＰＤ５ ＰＤ６ ＲＲＳＴ
ＨＲＥＦ
ＰＤ２ ＰＣ７ ＲＣＬＫ
ＶＳＹＮＣ
ＰＤ３ ＰＡ７～｝ＩＡＯ
Ｄ０７～ＤｏＯ
ＧＮＤ
ＡＴＭＥＧＡｌ６Ｌ
ＧＮＤ
Ｄ７ ＤＯ ＤＩ７一Ｄ１０
ＡＬ４２２Ｂ
ＧＮＤ
图４ ＯＶ７６７０、ＡＴＭＥＧＡ１６Ｌ与ＡＬ４２２Ｂ的接线图
３．２图像缓存
由于０Ｖ７６７０产生的数据在速率上与接口电路
不匹配．因此数据缓存必不可少。ＡＩＡ２２Ｂ是Ａｖｅｒ－
Ｌｏｇｉｃ公司推出的一个存储容量为３９３２１６字节×８位的
ＦＩＦＯ存储芯片。由于其所有的寻址、刷新等操作都
由集成在芯片内部的控制系统完成，因而使用非常
简单。目前市场上的ＦＩＦＯ存储体的存储容量都较
小。很难适应视频技术的高速发展，而ＡＬ４２２Ｂ的
存储空间为３Ｍ位，对于普通的视频应用绰绰有余，
并且它加快了存取速度，因此可以在本系统中应
用。ＡＬ４２２Ｂ的内部功能如图５所示。
ＡＩＡ２２Ｂ的写时序如图６所示。ＷＣＫ为ＡＬ４２２Ｂ
的写入时钟，周期最大为１ ０００ｎｓ，最小为２０ｎｓ，其
上升沿时数据写人。随着该时钟输入，其内部写指
针自动增加。显然，ＡＬ４２２Ｂ的速度足够。
ＡＩＡ２２Ｂ的读时序如图７所示。图中ＲＣＫ为ＡＩＡ２２Ｂ
《汽车电器》２ｏ１３年第２期 ｉ
输入缓冲Ｈ薯 冀Ｈ Ｈ 鬈Ｈ输出缓冲
疲劳检测．每个检测周期
写地址计数器Ｈ时钟发生器Ｈ读地址计数器
地址刷新计数器
ｃｙｃｋ ｎ
ｗ
ｃｙ出０十ｃｙ ＿１
／ｗ
Ｄ１７ ｏ
篱 — ’ ‘ ——————一
Ｔ。８ 。Ｈ
中包含１８帧图像。由于已
经实现了对驾驶员眼睛状
态的识别，则可以通过统
计一个检测周期内，驾驶
员眼睛闭合状态的帧数和
周期内总的帧数，得到驾
驶员的疲劳指数，即：
ＰＥＲＣＬＯＳ＝闭眼帧数／总帧
数ｘｌ００％。开眼帧与闭眼
帧的二值图与灰度投影如
图９所示
图６ ＡＬ４２２Ｂ写时序
的读出时钟，周期最大为１ ０００ ｎｓ，最小为２０ ｎｓ。
当／ＲＥ和／ＯＥ有效时，在ＲＣＫ上升沿数据有效，随
着该时钟输入，其内部的读指针自动增加。当单片
机的主频为１２ＭＨｚ，可以用单片机中的ＡＬＥ／ＷＲ／
ＲＤ合成ＲＣＫ信号。再利用图像芯片的数据输出特
性和单片机的中断功能及ＡＩＡ２２Ｂ的特点加以解决。
对于容量问题，利用ＡＩＡ２２Ｂ的大存储容量（３Ｍ位）
就可以满足要求
图７ ＡＬ４２２Ｂ读时序
３．３下位机程序设计
下位机程序基于ＡＶＲ Ｓｔｕｄｉｏ环境开发。运行于
ＡＶＲ芯片ＡＴＭＥＧＡ１６Ｌ Ｃ引．主要实现配置ＯＶ７６７０工
作参数，读取并传输图像数据的功能。首先对
ＡＬ４２２Ｂ、０Ｖ７６７０进行初始化．通过ＳＣＣＢ总线配置
０Ｖ７６７０的寄存器，使其输出ＲＧＢ５６５格式图像数
据，存储到缓存芯片ＡＬ４２２Ｂ，由ＡＴＭＥＧＡ１６Ｌ将图
像数据传送到车载ＰＣ．下位机程序流程如图８所示。
４系统调试与试验
采用帧率ＣＭＯＳ摄像头０Ｖ７６７０采集驾驶员的脸
部图像，并以６ ｓ作为一个检测周期（时间取太短，
误警率会增加；时间取太长，则不能及时报警），
并每隔Ｏ．３３ ｓ取ｌ帧图像（即每秒取３帧图像）进行
“
２ 《汽车电器｝２０１３年第２期
根据前面介绍过的
ＰＥＲＣＬＯＳ方法．当ＰＥＲＣ．
ＬＯＳ大于指定阈值４０％时．
则判定驾驶员处于疲劳驾
驶状态．并给予驾驶员预
图８下位机程序流程图
警信息。
（ａ）开眼帧
（ｂ）闭眼帧
图９开眼帧与闭眼帧的二值图与灰度投影
５ 结束语
基于以上硬件与软件的设计，实现了ＡＶＲ单片
机对ＣＭＯＳ摄像头０Ｖ７６７０的配置，用ＡＬ４２２Ｂ存储并
转发图像数据，将图像数据传送到车载ＰＣ，并利用
上位机软件实现了图像数据的处理。系统运行良好，
很好地识别了人眼的位置及状态，并能够根据图像
信息判断驾驶员的疲劳状态，给出有效的预警。
参考文献：
［１］Ｌｉｎ ＣＴ，Ｋｏ ＬＷ，Ｃｈｕｎｇ ＩＦ，ｅｔ ａ１．Ａｄａｐｔｉｖｅ ＥＥＧ—ｂａｓｅｄ
Ａｌｅｒｔｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎ Ｓｙｓｔｅｍ ｂｙ Ｕｓｉｎｇ ＩＣＡ—ｂａｓｅｄ Ｆｕｚｚｙ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｃ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ
Ｓｙｓｔｅｍｓ，２００６，５３（１１）：２４６９—２４７６．
［２］Ｗａｎｇ ＲＢ，Ｇｕｏ ＫＹ，Ｓｈｉ ＳＭ，ｅｔ ａＬ Ａ ｍｏｎｉｔｏｒｉｎｇ ｍｅｔｈｏｄ
ｏｆ ｄｒｉｖｅｒ ｆａｔｉｇｕｅ ｂｅｈａｖｉｏｒ ｂａｓｅｄ ｏｎ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ『Ｃ］．
ＩＥＥＥ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ．２００３：ｌ１ｏ＿ｌ１３．
［３］Ｄ Ｏｒａｚｉｏ Ｔ，Ｌｅｏ Ｍ，Ｇｕａｒａｇｎｅｌｌａ Ｃ，ｅｔ ａ１．Ａ ｖｉｓｕａｌ
ａｐｐｒｏａｃｈ ｆｏｒ ｄｒｉｖｅｒ ｉｎａｔｔｅｎｔｉｏｎ ｄｅｔｅｃｔｉｏｎ『Ｃ］．Ｐａｔｔｅｒｎ
Ｒｅｃｏｇｎｉｔｉｏｎ，２００７，４０（８）：２３４１—２３５５．
［４］施树明，金立生，王荣本，等．基于机器视觉的驾驶员
嘴部状态检测方法［Ｊ］．吉林大学学报，２００４，３４（２）：
２３２—２３６．
［５］Ｋｉｔｈｉｌ ＰＷ，Ｊｏｎｅｓ ＲＤ，Ｊｏｎｅ Ｍ．Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｒｉ；ｅｒ
ａｌｅｒｔｎｅｓｓ ｄｅｔｅｃｔｉｏｎ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｏｖｅｒｈｅａｄ ｃａｐａｃｉｔｉｖｅ
ｓｅｎｓｏｒ ａｒｒａｙ ｆＣ］．ＳＡＥ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒ Ｓｅｉｒｅｓ，９８２２９２，
2024年5月23日发(作者：捷秋)
基于０Ｖ７６７０的疲劳驾驶预警系统
陆晓，冯 桑，呙 腾，黄超
（广东工业大学，广东广州 ５１０００６）
摘要：介绍一种用０Ｖ７６７０图像传感器采集图像数据，并以ＭＦＣ上位机处理图像的系统设计。此设计实现了图
像数据的采集与处理，并可根据图像数据判断驾驶员的疲劳状态并给出预警。
关键词：图像传感器；图像处理；模板匹配；ＰＥＲＣＬＯＳ
中图分类号：Ｕ４６３．６ 文献标识码：Ａ 文章编号：１００３—８６３９（２０１３）０２—００２２—０４
Ｖｅｈｉｃｌｅ Ｉｍａｇｅ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ ＯＶ７６７０
ＬＵ Ｘｉａｏ，ＦＥＮＧ Ｓａｎｇ，ＧＵＯ Ｔｅｎｇ，ＨＵＡＮＧ Ｃｈａｏ
（Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ ５１０００６，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅ ａｕｔｈｏｒ ｉｎｔｒｏｄｕｃｅｓ ａ ｓｙｓｔｅｍ ｔｈａｔ ｃｏｌｌｅｃｔｓ ｉｍａｇｅ ｄａｔａ ｂｙ ｔｈｅ ０Ｖ７６７０ ｉｍａｇｅ ｓｅｎｓｏｒ ａｎｄ ｐｒｏｃｅｓｓ
ａｎｄ ｄｉｓｐｌａｙ ｉｍａｇｅ ｔｈｒｏｕｇｈ ＭＦＣ ｐｒｏｇｒａｍ．Ｔｈｉｓ ｄｅｓｉｇｎ ｒｅａｌｉｚｅｓ ｔｈｅ ｉｍａｇｅ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｃａｎ
ｊｕｄｇｅ ｔｈｅ ｆａｔｉｇｕｅ ｏｆ ｔｈｅ ｄｒｉｖｅｒ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｉｍａｇｅ ｄａｔａ ａｎｄ ｇｉｖｅ ｅａｒｌｙ ｗａｒｎｉｎｇ．
Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｓｅｎｓｏｒ；ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ；ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ；ＰＥＲＣＬＯＳ
疲劳驾驶是交通事故的一个主要原因．如果能
在疲劳产生的初期给驾驶员进行预警提示，那么就
会大大减少交通事故的发生。因此，在驾驶中实时
监测驾驶员的疲劳状况成为当前国内外研究的热
点。目前，疲劳驾驶的检测方法主要包括检测驾驶
员的生理特征，如脑电图、眼电图、心电图等…，
检测驾驶员身体动作特征，如眼部的动作变化 、
驾驶员头部动作与特征 ］、手部特征（利用转向盘
上的传感器检测驾驶员对转向盘施加的压力，来判
断是否疲劳驾驶的安全装置［７ ）。其中，检测驾驶员
眼部特征的方法由于其直接、非接触性等优点，是
目前被广泛采用的方法。
１ 基于人眼识别疲劳判断理论基础
１．１ ＰＥＲＣＬＯＳ方法介绍
ＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔａｇｅ ｏｆ Ｅｙｅｌｉｄ Ｃｌｏｓｕｒｅ Ｏｖｅｒ
内采集到的有效帧数；卜疲劳评价系数。
当眼睛闭合超过８０％时Ｐ（ｔ）＝１，反之Ｐ（ｔ）＝０。
如果ＰＥＲＣＬＯＳ大于４０％，就认为驾驶员处于疲劳状
态［ 。
１．２人眼识别流程
准确地识别人眼是判断驾驶员疲劳状况的关键
环节。常用的人眼识别方法有：①模板匹配法：通
过在输入图像上滑动图像块，对实际的图像块和输
入图像进行匹配；②灰度投影法：利用人脸特征的
灰度值差别和人脸的几何分布关系确定人眼位置。
本文采取模板匹配与灰度投影结合的方法来进
行人眼的识别，先用模板匹配找出眼睛所在的区
域，然后对人眼区域进行灰度投影，得出人眼的开
闭状况
２硬件系统的总体设计
ｔｈｅ Ｐｕｐｉｌ ｏｖｅｒ ｔｉｍｅ）是由卡内基梅隆研究所提出的，
指的是在一定的时间内眼睛闭合所占的时间比例。
在实际应用过程中，眼睛闭合程度超过某一标准的
时间占某一特定时间的百分比，表现出与驾驶疲劳
程度较好的相关性。通过摄像头获取驾驶员眼睛闭
合时间的数据．作为判断驾驶员疲劳程度的依据。
系统主要包括０Ｖ７６７０ ＣＭＯＳ摄像头、ＦＩＦＯ存储
芯片ＡＬ４２２Ｂ、ＡＶＲ单片机以及处理图像的车载ＰＣ。
硬件结构如图１所示。其中，摄像头采用０Ｖ７６７０摄
ＯＶ７６７０ ＣＭＯＳ摄像头 ＦＩＦＯ存储芯片ＡＬ４２２Ｂ
配置ｌｌ １
配置
图像数据 ］ｃ图像数据 图像数据
ＥＰ（ｔ）
ＰＥＲｃＬ０ｓ计算公式：ＰＥＲＣＬＯｓ＝— 一＜
式中：Ｐ（ ）——眼睛的开闭状况；Ⅳ＿一￡时间
收稿日期：２０１２－ｌ１—０５
ＡＶＲ单片机芯片ＡＴＭＥＧＡ１６Ｌ
图像数据
车载ＰＣ
图１ 系统硬件结构示意图
作者简介：陆晓（１９８７一），男，硕士，主要从事疲劳预警相关理论与技术的研究。
乏 《汽车电器》２ｏ１３年第２期
像头，其灵敏度高，可以使用低电压驱动，具有标
准的ＳＣＣＢ接口，支持ＶＧＡ、ＹＵＶ４２２、ＲＧＢ５６５等格
式输出。ＡＩＡ２２Ｂ作为ＦＩＦＯ存储芯片，存储采集到
的图像信息。ＡＶＲ芯片ＡＴＭＥＧＡ１６Ｌ设置摄像头的
工作参数，从ＡＩＡ２２Ｂ读取图像数据并传送到车载
ＰＣ进行处理
系统上电后，首先由摄像头采集图像信息并将
其存储在Ａ１４２２Ｂ存储芯片中．然后由ＡＴＭＥＧＡ１６Ｌ
起时主机驱动ＳＣＬ为０；ＳＤＡ为双向数据传输线，既
可以由主机驱动也可以由从机驱动。当总线空闲时
保持浮动，状态不固定（０、１或三态高阻）。当总
线挂起时，驱动ＳＤＡ为０。为了不让该总线产生未
知的状态，主机和从机必须保持ＳＤＡ的电平。
图４为０Ｖ７６７０、ＡＴＭＥＧＡ１６Ｌ与ＡＬ４２２Ｂ的接线
图，ＨＲＥＦ为行同步信号．ＶＳＹＮＣ为场同步信号。
ＳＣＬ与ＳＤＡ分别是ＳＣＣＢ总线的时钟线与数据线。其
读取图像数据并将其传送到车载ＰＣ，车载ＰＣ对图
像进行处理。识别人眼的状态．再根据ＰＥＲＣＬＯＳ方
法判断驾驶员的疲劳状况．从而给出预警信息。
３图像采集
数字图像采集中常
用的有ＣＭＯＳ（Ｃｏｍｐｌｅ．
ｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ——
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）与ＣＣＤ
（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）
摄像头，与ＣＣＤ相比．
ＣＭＯＳ具有灵敏度高、
分辨率高、低功耗以及
成本低廉等优势，所以
本文采用ＣＭＯＳ摄像头
图２ ０Ｖ７６７０摄像头
０Ｖ７６７０（图２）。
３．１ ＯＶ７６７０的结构及其工作原理
ＯＶ７６７０摄像头是整个系统的最前端，其集成
了一个６４０ｘ４８０的感光阵列、帧（行）控制电路、
视频时序产生电路、模拟信号处理电路、Ａ／Ｄ转换
电路、数字信号输出电路及寄存器ＳＣＣＢ编程接口。
感光阵列得到原始的彩色图像信号后，模拟处理电
路完成诸如颜色分离与均衡、增益控制、ｇａｍｍａ校
正、白电平调整等主要的信号处理工作，最后可根
据需要输出多种标准的视频信号。视频时序产生电
路用于产生行同步、场同步、混合视频同步等多种
同步信号和像素时钟等多种内部时钟信号，外部控
制器可通过ＳＣＣＢ总线接口设置或读取０Ｖ７６７０的工
作状态、工作方式以及数据的输出格式等。其ＳＣＣＢ
控制时序如图３所示。
图３ ＳＣＣＢ时序图
其中，ＳＣＬ为由主机发出的单向信号线，输出
时钟信号，总线空闲时主机驱动ＳＣＬ为ｌ，当总线挂
中ＶＳＹＮＣ为场同步信号，其下降沿表示一帧图像的
开始，ＨＲＥＦ为行同步信号，高电平时表示一行的
图像数据开始输出。一帧图像开始后，仅当ＨＲＥＦ
为高，ＰＣＬＫ上升沿时，数据为有效的像素值。对
图像数据的采集是通过中断触发的，这里用
ＶＳＹＮＣ、ＨＲＥＦ、ＰＣＬＫ的上升沿触发３个中断。当
采集到ＶＳＹＮＣ中断时开始一帧图像数据的采集．
ＨＲＥＦ中断到来时开始采集一行图像数据．一行数
据采集完成后，等待下次ＨＲＥＦ中断，开始采集下
一
行数据，以此类推。对ＨＲＥＦ中断采集４８０次，就
得￣ｌＪ６４０ｘ４８０像素点的一帧图像的数据。
ＶＣＣ
ＶＣＣ ＶＣＣ ＰＣ６ ＷＥＮ ＶＣＣ
ＧＮＤ ＳＣＬ
ＰＤ４ ＰＣ１
ＯＥ／ＣＳ ＧＮＤ
ＳＤＡ
ＰＤ５ ＰＤ６ ＲＲＳＴ
ＨＲＥＦ
ＰＤ２ ＰＣ７ ＲＣＬＫ
ＶＳＹＮＣ
ＰＤ３ ＰＡ７～｝ＩＡＯ
Ｄ０７～ＤｏＯ
ＧＮＤ
ＡＴＭＥＧＡｌ６Ｌ
ＧＮＤ
Ｄ７ ＤＯ ＤＩ７一Ｄ１０
ＡＬ４２２Ｂ
ＧＮＤ
图４ ＯＶ７６７０、ＡＴＭＥＧＡ１６Ｌ与ＡＬ４２２Ｂ的接线图
３．２图像缓存
由于０Ｖ７６７０产生的数据在速率上与接口电路
不匹配．因此数据缓存必不可少。ＡＩＡ２２Ｂ是Ａｖｅｒ－
Ｌｏｇｉｃ公司推出的一个存储容量为３９３２１６字节×８位的
ＦＩＦＯ存储芯片。由于其所有的寻址、刷新等操作都
由集成在芯片内部的控制系统完成，因而使用非常
简单。目前市场上的ＦＩＦＯ存储体的存储容量都较
小。很难适应视频技术的高速发展，而ＡＬ４２２Ｂ的
存储空间为３Ｍ位，对于普通的视频应用绰绰有余，
并且它加快了存取速度，因此可以在本系统中应
用。ＡＬ４２２Ｂ的内部功能如图５所示。
ＡＩＡ２２Ｂ的写时序如图６所示。ＷＣＫ为ＡＬ４２２Ｂ
的写入时钟，周期最大为１ ０００ｎｓ，最小为２０ｎｓ，其
上升沿时数据写人。随着该时钟输入，其内部写指
针自动增加。显然，ＡＬ４２２Ｂ的速度足够。
ＡＩＡ２２Ｂ的读时序如图７所示。图中ＲＣＫ为ＡＩＡ２２Ｂ
《汽车电器》２ｏ１３年第２期 ｉ
输入缓冲Ｈ薯 冀Ｈ Ｈ 鬈Ｈ输出缓冲
疲劳检测．每个检测周期
写地址计数器Ｈ时钟发生器Ｈ读地址计数器
地址刷新计数器
ｃｙｃｋ ｎ
ｗ
ｃｙ出０十ｃｙ ＿１
／ｗ
Ｄ１７ ｏ
篱 — ’ ‘ ——————一
Ｔ。８ 。Ｈ
中包含１８帧图像。由于已
经实现了对驾驶员眼睛状
态的识别，则可以通过统
计一个检测周期内，驾驶
员眼睛闭合状态的帧数和
周期内总的帧数，得到驾
驶员的疲劳指数，即：
ＰＥＲＣＬＯＳ＝闭眼帧数／总帧
数ｘｌ００％。开眼帧与闭眼
帧的二值图与灰度投影如
图９所示
图６ ＡＬ４２２Ｂ写时序
的读出时钟，周期最大为１ ０００ ｎｓ，最小为２０ ｎｓ。
当／ＲＥ和／ＯＥ有效时，在ＲＣＫ上升沿数据有效，随
着该时钟输入，其内部的读指针自动增加。当单片
机的主频为１２ＭＨｚ，可以用单片机中的ＡＬＥ／ＷＲ／
ＲＤ合成ＲＣＫ信号。再利用图像芯片的数据输出特
性和单片机的中断功能及ＡＩＡ２２Ｂ的特点加以解决。
对于容量问题，利用ＡＩＡ２２Ｂ的大存储容量（３Ｍ位）
就可以满足要求
图７ ＡＬ４２２Ｂ读时序
３．３下位机程序设计
下位机程序基于ＡＶＲ Ｓｔｕｄｉｏ环境开发。运行于
ＡＶＲ芯片ＡＴＭＥＧＡ１６Ｌ Ｃ引．主要实现配置ＯＶ７６７０工
作参数，读取并传输图像数据的功能。首先对
ＡＬ４２２Ｂ、０Ｖ７６７０进行初始化．通过ＳＣＣＢ总线配置
０Ｖ７６７０的寄存器，使其输出ＲＧＢ５６５格式图像数
据，存储到缓存芯片ＡＬ４２２Ｂ，由ＡＴＭＥＧＡ１６Ｌ将图
像数据传送到车载ＰＣ．下位机程序流程如图８所示。
４系统调试与试验
采用帧率ＣＭＯＳ摄像头０Ｖ７６７０采集驾驶员的脸
部图像，并以６ ｓ作为一个检测周期（时间取太短，
误警率会增加；时间取太长，则不能及时报警），
并每隔Ｏ．３３ ｓ取ｌ帧图像（即每秒取３帧图像）进行
“
２ 《汽车电器｝２０１３年第２期
根据前面介绍过的
ＰＥＲＣＬＯＳ方法．当ＰＥＲＣ．
ＬＯＳ大于指定阈值４０％时．
则判定驾驶员处于疲劳驾
驶状态．并给予驾驶员预
图８下位机程序流程图
警信息。
（ａ）开眼帧
（ｂ）闭眼帧
图９开眼帧与闭眼帧的二值图与灰度投影
５ 结束语
基于以上硬件与软件的设计，实现了ＡＶＲ单片
机对ＣＭＯＳ摄像头０Ｖ７６７０的配置，用ＡＬ４２２Ｂ存储并
转发图像数据，将图像数据传送到车载ＰＣ，并利用
上位机软件实现了图像数据的处理。系统运行良好，
很好地识别了人眼的位置及状态，并能够根据图像
信息判断驾驶员的疲劳状态，给出有效的预警。
参考文献：
［１］Ｌｉｎ ＣＴ，Ｋｏ ＬＷ，Ｃｈｕｎｇ ＩＦ，ｅｔ ａ１．Ａｄａｐｔｉｖｅ ＥＥＧ—ｂａｓｅｄ
Ａｌｅｒｔｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎ Ｓｙｓｔｅｍ ｂｙ Ｕｓｉｎｇ ＩＣＡ—ｂａｓｅｄ Ｆｕｚｚｙ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｃ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ
Ｓｙｓｔｅｍｓ，２００６，５３（１１）：２４６９—２４７６．
［２］Ｗａｎｇ ＲＢ，Ｇｕｏ ＫＹ，Ｓｈｉ ＳＭ，ｅｔ ａＬ Ａ ｍｏｎｉｔｏｒｉｎｇ ｍｅｔｈｏｄ
ｏｆ ｄｒｉｖｅｒ ｆａｔｉｇｕｅ ｂｅｈａｖｉｏｒ ｂａｓｅｄ ｏｎ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ『Ｃ］．
ＩＥＥＥ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ．２００３：ｌ１ｏ＿ｌ１３．
［３］Ｄ Ｏｒａｚｉｏ Ｔ，Ｌｅｏ Ｍ，Ｇｕａｒａｇｎｅｌｌａ Ｃ，ｅｔ ａ１．Ａ ｖｉｓｕａｌ
ａｐｐｒｏａｃｈ ｆｏｒ ｄｒｉｖｅｒ ｉｎａｔｔｅｎｔｉｏｎ ｄｅｔｅｃｔｉｏｎ『Ｃ］．Ｐａｔｔｅｒｎ
Ｒｅｃｏｇｎｉｔｉｏｎ，２００７，４０（８）：２３４１—２３５５．
［４］施树明，金立生，王荣本，等．基于机器视觉的驾驶员
嘴部状态检测方法［Ｊ］．吉林大学学报，２００４，３４（２）：
２３２—２３６．
［５］Ｋｉｔｈｉｌ ＰＷ，Ｊｏｎｅｓ ＲＤ，Ｊｏｎｅ Ｍ．Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｒｉ；ｅｒ
ａｌｅｒｔｎｅｓｓ ｄｅｔｅｃｔｉｏｎ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｏｖｅｒｈｅａｄ ｃａｐａｃｉｔｉｖｅ
ｓｅｎｓｏｒ ａｒｒａｙ ｆＣ］．ＳＡＥ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒ Ｓｅｉｒｅｓ，９８２２９２，