2024年3月11日发(作者：释芳润)
高动态科学级CMOS相机系统的设计
何舒文;王延杰;孙宏海;张雷;吴培
【摘 要】为了满足全局曝光模式下对高动态范围CMOS相机需求,基于CIS-2521
sCMOS器件设计出一个相机系统,通过研究CIS-2521芯片像素读出结构特点和全
局曝光模式下驱动时序特点,选用FPGA搭载DDR3作为处理架构,在FP-GA内部
完成了成像参数控制,sCMOS驱动时序,图像数据采集,图像预处理等SOPC片上一
体化设计,并对各个模块功能进行了介绍.设计的相机系统进行成像测试,实现了连续
输出50帧/s,2 560×2 160像素,14 bit有效深度的高清晰度高动态范围图像,基本
满足科学级成像条件的需求.
【期刊名称】《液晶与显示》
【年(卷),期】2015(030)004
【总页数】7页(P729-735)
【关键词】科学级CMOS;高动态;全局曝光;图像处理
【作 者】何舒文;王延杰;孙宏海;张雷;吴培
【作者单位】中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国
科学院大学,北京100049;中国科学院长春光学精密机械与物理研究所,吉林长春
130033;中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国科学
院长春光学精密机械与物理研究所,吉林长春130033;中国科学院大学,北京
100049;中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国科学
院大学,北京100049
【正文语种】中 文
【中图分类】TP212
相比于科学级CCD器件，科学级CMOS图像传感器具有低功耗，低成本，高集
成度，可控开窗，大面阵高帧频等优点，有利于实现小体积低能耗的相机系统
［1-2］。目前市面上科学级CMOS相机一般采用卷帘曝光模式，通过相关双采
样技术对噪声进行抑制，一般输出图像数据有效深度达到12 bit以上，在获取较
高的图像质量同时还拥有较高的帧频［3-4］。但是在一些科学观测中(如高速运动
物体观测)，仍然需要相机工作在传统的全局曝光模式，此时由于相关双采样的失
效，采集图像中将出现明显列向噪声［5］，成像质量和相机动态范围受到极大影
响，难以达到科学级相机的要求。为了获取全局曝光模式下高质量图像，本设计中
选用了CIS-2521科学级CMOS芯片，在分析其像素读出特点的基础上设计了其
硬件驱动电路，通过在FPGA内完成数字域相关双采样和图像预处理等算法，实
现了全局曝光模式下高动态范围图像数据的获取。
CIS-2521是美国仙童公司开发的sCMOS图像传感器芯片，具有高灵敏度和低噪
声等特点，适用于在极弱光条件下获取高品质的图像。该芯片由一种5T结构像元
阵列组成，像素面阵分上下两个区域，每个区域均有2 560(H)×1 080(V)像素。
CIS-2521芯片内具有丰富可编程控制功能，上下区域可独立工作，内部各有48
个32 bit的寄存器，可通过JTAG接口分别设置寄存器的值，控制图像积分时间，
帧频，增益，开窗读出，曝光模式等。CIS-2521包含列级双通道可调节增益放大
器和ADC转换器，可通过设置输出不同增益下的图像数据。CIS-2521的一些基
本性能参数如下:
(1)像素尺寸6．50 μm×6．50 μm，像素数2 560(H)×2 160(V)。
(2)全画幅帧频:卷帘模式(100 fps)，全局模式(50 fps)。
(3)满阱电荷＞30 000e，最小读出噪声＜2e，动态范围大于83．50 dB。
(4)峰值量子效率大于0．55，20℃时暗电流＜35e/pixel/s
(5)列级可选增益放大器与双11 bit列级ADC。
(6)可编程开窗大小读出。
基于CIS-2521设计的高动态科学级CMOS相机系统结构图如图1所示，相机系
统采用单电源12 V供电，在板上转换为各个模块所需电压，选用FPGA搭载
DDR3作为处理架构，其中FPGA主控芯片采用XILINX公司KINTEX7系列的
XC7K325T，具有丰富的逻辑资源，可根据不同需求现场可编程［6-7］，产生系
统其余部件所需驱动控制时序，DDR3采用4片MT41K128M16并联而成，能够
满足高速数据缓存的需求。系统工作流程为:FPGA上电加载配置程序，接收控制
计算机的控制指令，通过SPI接口设置偏置电压值，通过JTAG接口设置sCMOS
工作模式，sCMOS接收外触发信号后输出图像数据，FPGA采集高速图像数据缓
存并进行图像预处理，转换为标准Camera link接口数据输出［8］，控制计算机
通过采集软件采集图像数据并显示。
所设计的相机由于采用SOPC的设计方案，大部分功能都在FPGA内设计完成
［8］，FPGA内功能框图如图2所示，主要由sCMOS控制模块，通信控制模块，
图像采集模块，图像处理模块，高速缓存控制模块组成，以下对各个模块设计进行
介绍。
3．1通信控制模块
sCMOS相机系统与控制计算机的通信通过FPGA内通信控制模块完成。通信控制
模块接收控制计算机异步串口发出的所有控制信息和图像处理命令信息并反馈各个
模块运行状态信息，这些信息包括相机寄存器初始值，相机积分时间，触发曝光模
式和曝光时间，输出数据格式，帧相减，数据合成规则控制和滤波规则控制等。异
步串口通信采用1位起始位，8位数据位，1位停止位的格式，波特率为115 200
bps，每一条命令由14字节组成，其中包括命令起始标志，命令类型，控制信息
和命令结束标志。每一条控制命令通过FPGA片上通信解码后写入相应模块的命
令缓存FIFO，再由各个模块读出命令信息进行相应的寄存器设置或者时序控制。
3．2sCMOS驱动控制模块
sCMOS的驱动控制模块包括4个部分功能实现:偏置电压设置，相机工作模式设
置，触发和积分时序产生，读出数据时序控制。要使CIS-2521芯片正常上电工作，
上电需满足一定顺序。正确的控制步骤为:(1)数字核电压1．8 V供电。(2)通过
JTAG配置相机内各个寄存器的值。(3)模拟电源与数字3．3 V上电。(4)接收外触
发信号并产生相应控制和读出数据信号。设计中通过FPGA留出专门引脚控制其
模拟电源部分不同电压上电时刻。CIS-2521对模拟电压精度和电流大小需求同样
较高，以模拟复位电压为例，需求精确控制到2．739 V，该电压10 mV的差异
将导致从ADC读出数据相差300(DN)，设计中采用数字可编程控制电压芯片
LT1660，配合具有高输出电流运放芯片LMH6672为模拟复位电压供电，在参考
电压为3．3 V时，将模拟复位电压控制在最小0．000 03 V数字可调。
相机工作模式的设置主要在对CIS-2521内部寄存器设置上，在相机数字上电后初
始化过程中，通过JTAG接口可对相机内部48个32 bit寄存器进行相应的读写操
作，CIS-2521芯片内有相应符合JTAG标准状态机。可设置的内容包括相机的工
作模式(卷帘曝光，全局曝光)的选择，触发模式(脉冲触发，电平触发)，开窗大小，
数据读出顺序，带宽配置和ADC工作模式设置等。通过JTAG接口设置相机寄存
器的状态时序如下图所示，48个寄存器由6 bit寻址表示，在选择对应寄存器后
将32 bit信息写入。
sCMOS控制模块正确配置偏置电压和工作模式将处于等待触发状态，卷帘快门工
作模式下芯片可工作在FREE_RUN模式，直接输出的数据即为兼容Camera link
接口信号，可通过简单处理直接输出至控制计算机采集。本文设计内容主要针对全
局快门工作模式下的时序控制，CIS-2521像素结构与触发控制时序如图4所示，
TX2为高电平时直接将光电二极管复位到参考电平，为低电平时光电二极管开始
积累电荷，TX1为高时电荷转移到节电容Cfd被读出。而为了消除Cfd上受M3
复位信号引入的复位噪声，在有效电荷转移到Cfd之前，应对Cfd上存在的噪声
电荷进行读出。表现为在读出有效信号帧之前事先读出一帧仅包含噪声的复位帧。
当READ信号翻转时，根据DATA_DSEL的值决定读出是复位帧还是数据帧。为
了有效清空光电二极管残余电荷并且不影响复位帧信号读出，TX2在读出信号空
闲期间提供，即在CHARGE_TRANS低电平期间，以脉冲的形式复位光电二极管，
TX2最后一个脉冲的下降沿开始时光电二极管开始积分，TX1脉冲上升沿到来时
信号被转移到节电容等待读出。经过正确时序控制的sCMOS器件将输出帧有效
FVAL，行有效LVAL控制信号以及对应数据。
3．3图像数据采集模块
图像数据采集模块用于将来自sCMOS的输出数据缓存转换成易于操作的数据模
式，并根据所采集帧类型进行下一步的数据分配，数据采集模块数据流程图如图5
所示。sCMOS感器分为两个区域分别输出时钟频率为287 MHz的22 bit格雷码
数据，峰值速率达到1．54 GB/s，高速数据进入FPGA内后先经过码制转换模块
将ADC输出格雷码数据转换成易于操作的二进制码数据，并将高位补0～32 bit，
通过FPGA内部高速FIFO进行行缓存，将287 MHz时钟下32 bit数据输出转换
为100 MHz时钟下256 bit数据输出，sCMOS两个区域进入FIFO1，FIFO2的
写使能信号由各自区域输出的LVAL得到，由于硬件电路的差异两者可能有几个像
素时钟延迟，为了同步处理两个区域数据，两个FIFO的读使能由片上控制模块产
生，满足异步时钟读写控制转换。FIFO3的目的是为缓存一行已做同步处理数据，
通过判断当前帧是复位帧还是信号帧，将数据读出发送给高速缓存控制模块或者图
像处理模块。
3．4高速缓存控制模块
sCMOS一帧图像数据量为2 560×2 160×22 bit，约14．5 MB，直接在FPGA
内部缓存整帧处理将不能实现，设计中采用4片DDR3颗粒作为外部存储器，4
片DDR3颗粒容量达1 GB，带宽最高可达12．8 GB/s，本设计运行时钟为600
MHz，实际带宽为9．6 GB/s，可以满足对来自sCMOS的高速数据进行高速缓
存。对DDR3底层操作采用XILINX提供的IP核控制，对DDR3的操作涉及多次
读写，包括读写复位帧数据，读写处理后的数据帧数据，为保证读写效率，本文设
计中以行为单位，每次操作将读或者写一行数据。高速缓存控制模块如图6所示，
其中命令解释模块用于将多个读或写请求信号按照设定的优先级做并串转换，避免
同时到来的请求冲突，按照串行命令选择对应需要存取的地址一同写入命令地址
FIFO，DDR3 IP核将逐一读取FIFO中命令和地址交由IP核执行直到命令地址
FIFO为空为止，同时根据相应命令将需要写入的数据从WR_FIFO读出或者将读
出的数据写入RD_FIFO，读写的时刻和同步信号由需要读写的模块提前产生，保
证后续对数据处理时的及时供应。
3．5图像处理模块
图像处理模块是整个系统驱动程序中的核心模块，主要完成以下4个功能:(1)数字
域相关双采样。(2)高动态数据的合成。(3)图像的预处理。(4)图像输出处理。图像
处理模块结构如图7所示，为了保证图像数据处理过程中可靠性，整个处理模块
工作在100 MHz的时钟下，最终数据以80 MHz，64 bit格式经Camera link接
口输出。
数字域相关双采样模块产生读取FIFO3和高速缓存控制模块的请求，将FIFO3中
实时到来的信号帧行数据与对应存储在DDR3中复位帧行数据读出处理，为了保
证两行数据操作时的严格对齐，双采样模块提前信号帧行数据一行时间将复位帧整
行读取缓存在高速缓存控制模块的RD_FIFO中，当信号帧有效行到来时，将
WR_FIFO与FIFO3同步读出的512 bit数据进行处理。数字域相关双采样实际操
作为两帧数据做减法，FPGA内部实现时还应该考虑信号接近饱和和信号较小时，
信号帧Isig直接与复位帧Irst相减会造成后续采集图像失真的情况，在本设计中
采用分3段处理的方式合成数字双采样后数据帧Idata。
数字相关双采样结果如图8所示，从左往右依次为复位帧，信号帧，数据帧(为显
示高动态范围图像文中图像均做线性拉伸变换)。由数据帧可发现信号帧中的列向
噪声已经基本去除，图像质量有较大改善，该区域内图像性噪比提高2．53 dB。
经过数字相关双采样模块处理后的512 bit数据由16个32 bit像素组成，其中
32 bit数据中包含来自高低增益通道各11 bit有效数据，高增益通道输出的数据
具有更高的数据精度，低增益通道的输出的数据可表示更大的动态范围。系统通过
串口控制设置了3种读出模式，模式一是原始高低通道数据选择输出，不做任何
处理。模式二采用相机手册中建议的方式设定阈值，在高增益通道数据IH小于某
个值IT时，选择高增益通道数据IH输出，而在大于IT时选择低增益通道数据IL
输出。模式三设计了一种曲线拟合双通道数据，将高低增益通道数据合成为16 bit
数据输出。模式一输出的优点在于便于后续对原始数据的研究处理，模式二具有简
单高效，可直观观察到高动态范围数据，但是由于采用阈值的方式，在阈值周围的
灰度值会出现跳跃的现象［5］。模式三的输出减小了灰度跳跃的影响，输出图像
可视性较强，考虑到易于FPGA内部实现，模式三的合成曲线规则设计为3段的
形式，由公式(2)表述，［Ia，Ib］为数据衔接区间，其中k为高低通道增益之比，
用于将高低增益通道数据量纲统一，考虑到由于各放大器差异k并非常数，实际
操作中取均值计算，当选择高通道增益为10倍。低通道增益为1倍时，实测k均
值约为9．54。输出合成16 bit数据IHDR中实际有效数据位宽为14 bit。
经模式三中方法合成的图像如图9所示。
由图9可见原始的双通道输出图像存在过暗或者过亮区域，经过合成高动态范围
图像数据，图像整体可视性有较大提高，11阶渐变条纹能够清晰展示出来。
通过观察采集的图像，经过数字域相关双采样处理和双增益合成的图像还存在较多
随机分布的亮点或者暗点，以及少数坏点。图像预处理模块提供一些常用的滤波处
理规则用于对图像数据进行处理，可通过通信控制模块设置选择中值滤波，均值滤
波，或不做处理直接输出的功能。经过观察采集图像中包含大都为椒盐噪声类型，
通过简单的一维1×3的中值滤波就能达到很好的输出效果。经过图像预处理的数
据流再次存入高速缓存区域供后续整帧读出。
图像输出处理模块主要功能是将在高速缓存区域的整帧数据逐行读出，转换成所需
的输出图像数据格式输出供控制计算机采集或者显示用。本设计中将依据通信控制
命令可裁剪输出图像大小，在80 MHz像素时钟下以标准Camera_link Full模式
信号输出至控制计算机。
设计的相机系统如图10所示，系统上电从配置芯片加载程序后，通过控制计算机
端编写的相机系统操作软件如图11所示，通过控制软件发送控制指令，接收通过
Camera link接口获取图像数据进行显示，系统在全画幅模式(2 560×2 160)下对
实际场景进行了实时拍摄，帧频为50 fps，输出像素深度16 bit，通过操作界面
可选择不同增益通道信号帧，数据帧或者复位帧输出，控制高动态数据融合规则和
图像添加滤波效果。采集的测试图像清晰，灰度层次分明，分辨率高，相机系统具
有较高动态范围。
在分析了CIS-2521图像传感器的像素结构特点的基础上，依照信号完整性和电磁
兼容的要求，采用高性能FPGA和高速DDR3图像缓存器件，设计实现了适合
sCMOS在全局曝光模式下的高动态sCMOS成像硬件系统，通过分析sCMOS时
序设计了高帧频全局电子快门成像驱动控制程序，经过实际成像测试表明所设计的
高动态相机系统工作稳定，可操作性强，输出50帧/s，2 560× 2 160位宽16
bit图像数据，有效数据深度为14 bit，基本满足全局曝光模式下高清高速高动态
范围的CMOS相机需求，为下一步系统成像性能测试和性能改善奠定了硬件基础。
【相关文献】
［1］刘新明，刘文，刘朝晖．大面阵CMOS APS相机系统的设计［J］．光子学报，2009，
38(12):3235-3239．
Liu X M，Liu W，Liu Z H．Design of a large area arrqy CMOS APS camera system
［J］．Acta Photonica Sinica，2009，38 (12):3235-3239．(in Chinese)
［2］罗通顶，李斌康，郭明安，等．科学级CCD远程图像采集系统［J］．光学精密工程，2013，
21(2):496-502．
LuoT D，Li B K，Guo M A，et al．Remote image acquisition system with scientific grade
CCD［J］．Opt．Precision Eng．，2013，21(2):496-502．(in Chinese)
［3］张超，李洪文，贾建禄，等．高帧频多通道图像采集与显示［J］．液晶与显示，2013，
28(4):593-597．
Zhang C，Li H W，Jia J L，et al．High frame rate and multiple channels digital image
acquisition and display［J］．ChineseJournal of Liquid Crystals and Displays，2013，
28(4):593-597．(in Chinese)
［4］杨东来，胡晓东，李俊娜．基于CMOS图像传感器的多斜率积分模式［J］．红外与激光工
程，2012，41(6):1499-1502．
Yang D L，Hu X D，Li J N，et al．Multiple slope integration based on CMOS image
sensor［J］．Infrared and Laser Engineering，2012，41(6):1499-1502．(in Chinese)
［5］Sungho S，Shinya I，Satoshi A，et al．Column-parallel correlated multiple sampling
circuits for CMOS image sensors and their noise reduction effects［J］．Sensors，2010，
10(12):9139-9154．
［6］李晓晨，姚素英，黄碧珍，等．一种应用于高动态范围CMOS图像传感器的曝光控制技术
［J］．传感技术学报，2013，26(3):328-332．
Li X C，Yao S Y，Huang B Z，et al．A novel high dynamic range exposure control for
CMOS image sensor［J］．Chinese Journal of Sensors and Actuators．2013，26(3):328-
332．(in Chinese)
［7］韩红霞，孙航，曹立华．基于FPGA的红外相机时序构造设计［J］．液晶与显示，2014，
29(3):370-376．
Han H X，Sun H，Cao L H．IR camera sequence construction design based on FPGA
［J］．Chinese Journal of Liquid Crystals and Displays，2014，29(3):370-376．(in Chinese)
［8］孙宏海，李泽学，纪华，等．半导体制冷型高帧频CMOS数字摄像机及其成像噪声分析
［J］．光学精密工程，2008，16 (10):2038-2044．
Sun H H，Li Z X，Ji H，et al．High frame rate CMOS digital camera by semiconductor
refrigeration and its imaging noise analysis［J］．Opt．Precision Eng．，2008，
16(10):2038-2044．(in Chinese)
2024年3月11日发(作者：释芳润)
高动态科学级CMOS相机系统的设计
何舒文;王延杰;孙宏海;张雷;吴培
【摘 要】为了满足全局曝光模式下对高动态范围CMOS相机需求,基于CIS-2521
sCMOS器件设计出一个相机系统,通过研究CIS-2521芯片像素读出结构特点和全
局曝光模式下驱动时序特点,选用FPGA搭载DDR3作为处理架构,在FP-GA内部
完成了成像参数控制,sCMOS驱动时序,图像数据采集,图像预处理等SOPC片上一
体化设计,并对各个模块功能进行了介绍.设计的相机系统进行成像测试,实现了连续
输出50帧/s,2 560×2 160像素,14 bit有效深度的高清晰度高动态范围图像,基本
满足科学级成像条件的需求.
【期刊名称】《液晶与显示》
【年(卷),期】2015(030)004
【总页数】7页(P729-735)
【关键词】科学级CMOS;高动态;全局曝光;图像处理
【作 者】何舒文;王延杰;孙宏海;张雷;吴培
【作者单位】中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国
科学院大学,北京100049;中国科学院长春光学精密机械与物理研究所,吉林长春
130033;中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国科学
院长春光学精密机械与物理研究所,吉林长春130033;中国科学院大学,北京
100049;中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国科学
院大学,北京100049
【正文语种】中 文
【中图分类】TP212
相比于科学级CCD器件，科学级CMOS图像传感器具有低功耗，低成本，高集
成度，可控开窗，大面阵高帧频等优点，有利于实现小体积低能耗的相机系统
［1-2］。目前市面上科学级CMOS相机一般采用卷帘曝光模式，通过相关双采
样技术对噪声进行抑制，一般输出图像数据有效深度达到12 bit以上，在获取较
高的图像质量同时还拥有较高的帧频［3-4］。但是在一些科学观测中(如高速运动
物体观测)，仍然需要相机工作在传统的全局曝光模式，此时由于相关双采样的失
效，采集图像中将出现明显列向噪声［5］，成像质量和相机动态范围受到极大影
响，难以达到科学级相机的要求。为了获取全局曝光模式下高质量图像，本设计中
选用了CIS-2521科学级CMOS芯片，在分析其像素读出特点的基础上设计了其
硬件驱动电路，通过在FPGA内完成数字域相关双采样和图像预处理等算法，实
现了全局曝光模式下高动态范围图像数据的获取。
CIS-2521是美国仙童公司开发的sCMOS图像传感器芯片，具有高灵敏度和低噪
声等特点，适用于在极弱光条件下获取高品质的图像。该芯片由一种5T结构像元
阵列组成，像素面阵分上下两个区域，每个区域均有2 560(H)×1 080(V)像素。
CIS-2521芯片内具有丰富可编程控制功能，上下区域可独立工作，内部各有48
个32 bit的寄存器，可通过JTAG接口分别设置寄存器的值，控制图像积分时间，
帧频，增益，开窗读出，曝光模式等。CIS-2521包含列级双通道可调节增益放大
器和ADC转换器，可通过设置输出不同增益下的图像数据。CIS-2521的一些基
本性能参数如下:
(1)像素尺寸6．50 μm×6．50 μm，像素数2 560(H)×2 160(V)。
(2)全画幅帧频:卷帘模式(100 fps)，全局模式(50 fps)。
(3)满阱电荷＞30 000e，最小读出噪声＜2e，动态范围大于83．50 dB。
(4)峰值量子效率大于0．55，20℃时暗电流＜35e/pixel/s
(5)列级可选增益放大器与双11 bit列级ADC。
(6)可编程开窗大小读出。
基于CIS-2521设计的高动态科学级CMOS相机系统结构图如图1所示，相机系
统采用单电源12 V供电，在板上转换为各个模块所需电压，选用FPGA搭载
DDR3作为处理架构，其中FPGA主控芯片采用XILINX公司KINTEX7系列的
XC7K325T，具有丰富的逻辑资源，可根据不同需求现场可编程［6-7］，产生系
统其余部件所需驱动控制时序，DDR3采用4片MT41K128M16并联而成，能够
满足高速数据缓存的需求。系统工作流程为:FPGA上电加载配置程序，接收控制
计算机的控制指令，通过SPI接口设置偏置电压值，通过JTAG接口设置sCMOS
工作模式，sCMOS接收外触发信号后输出图像数据，FPGA采集高速图像数据缓
存并进行图像预处理，转换为标准Camera link接口数据输出［8］，控制计算机
通过采集软件采集图像数据并显示。
所设计的相机由于采用SOPC的设计方案，大部分功能都在FPGA内设计完成
［8］，FPGA内功能框图如图2所示，主要由sCMOS控制模块，通信控制模块，
图像采集模块，图像处理模块，高速缓存控制模块组成，以下对各个模块设计进行
介绍。
3．1通信控制模块
sCMOS相机系统与控制计算机的通信通过FPGA内通信控制模块完成。通信控制
模块接收控制计算机异步串口发出的所有控制信息和图像处理命令信息并反馈各个
模块运行状态信息，这些信息包括相机寄存器初始值，相机积分时间，触发曝光模
式和曝光时间，输出数据格式，帧相减，数据合成规则控制和滤波规则控制等。异
步串口通信采用1位起始位，8位数据位，1位停止位的格式，波特率为115 200
bps，每一条命令由14字节组成，其中包括命令起始标志，命令类型，控制信息
和命令结束标志。每一条控制命令通过FPGA片上通信解码后写入相应模块的命
令缓存FIFO，再由各个模块读出命令信息进行相应的寄存器设置或者时序控制。
3．2sCMOS驱动控制模块
sCMOS的驱动控制模块包括4个部分功能实现:偏置电压设置，相机工作模式设
置，触发和积分时序产生，读出数据时序控制。要使CIS-2521芯片正常上电工作，
上电需满足一定顺序。正确的控制步骤为:(1)数字核电压1．8 V供电。(2)通过
JTAG配置相机内各个寄存器的值。(3)模拟电源与数字3．3 V上电。(4)接收外触
发信号并产生相应控制和读出数据信号。设计中通过FPGA留出专门引脚控制其
模拟电源部分不同电压上电时刻。CIS-2521对模拟电压精度和电流大小需求同样
较高，以模拟复位电压为例，需求精确控制到2．739 V，该电压10 mV的差异
将导致从ADC读出数据相差300(DN)，设计中采用数字可编程控制电压芯片
LT1660，配合具有高输出电流运放芯片LMH6672为模拟复位电压供电，在参考
电压为3．3 V时，将模拟复位电压控制在最小0．000 03 V数字可调。
相机工作模式的设置主要在对CIS-2521内部寄存器设置上，在相机数字上电后初
始化过程中，通过JTAG接口可对相机内部48个32 bit寄存器进行相应的读写操
作，CIS-2521芯片内有相应符合JTAG标准状态机。可设置的内容包括相机的工
作模式(卷帘曝光，全局曝光)的选择，触发模式(脉冲触发，电平触发)，开窗大小，
数据读出顺序，带宽配置和ADC工作模式设置等。通过JTAG接口设置相机寄存
器的状态时序如下图所示，48个寄存器由6 bit寻址表示，在选择对应寄存器后
将32 bit信息写入。
sCMOS控制模块正确配置偏置电压和工作模式将处于等待触发状态，卷帘快门工
作模式下芯片可工作在FREE_RUN模式，直接输出的数据即为兼容Camera link
接口信号，可通过简单处理直接输出至控制计算机采集。本文设计内容主要针对全
局快门工作模式下的时序控制，CIS-2521像素结构与触发控制时序如图4所示，
TX2为高电平时直接将光电二极管复位到参考电平，为低电平时光电二极管开始
积累电荷，TX1为高时电荷转移到节电容Cfd被读出。而为了消除Cfd上受M3
复位信号引入的复位噪声，在有效电荷转移到Cfd之前，应对Cfd上存在的噪声
电荷进行读出。表现为在读出有效信号帧之前事先读出一帧仅包含噪声的复位帧。
当READ信号翻转时，根据DATA_DSEL的值决定读出是复位帧还是数据帧。为
了有效清空光电二极管残余电荷并且不影响复位帧信号读出，TX2在读出信号空
闲期间提供，即在CHARGE_TRANS低电平期间，以脉冲的形式复位光电二极管，
TX2最后一个脉冲的下降沿开始时光电二极管开始积分，TX1脉冲上升沿到来时
信号被转移到节电容等待读出。经过正确时序控制的sCMOS器件将输出帧有效
FVAL，行有效LVAL控制信号以及对应数据。
3．3图像数据采集模块
图像数据采集模块用于将来自sCMOS的输出数据缓存转换成易于操作的数据模
式，并根据所采集帧类型进行下一步的数据分配，数据采集模块数据流程图如图5
所示。sCMOS感器分为两个区域分别输出时钟频率为287 MHz的22 bit格雷码
数据，峰值速率达到1．54 GB/s，高速数据进入FPGA内后先经过码制转换模块
将ADC输出格雷码数据转换成易于操作的二进制码数据，并将高位补0～32 bit，
通过FPGA内部高速FIFO进行行缓存，将287 MHz时钟下32 bit数据输出转换
为100 MHz时钟下256 bit数据输出，sCMOS两个区域进入FIFO1，FIFO2的
写使能信号由各自区域输出的LVAL得到，由于硬件电路的差异两者可能有几个像
素时钟延迟，为了同步处理两个区域数据，两个FIFO的读使能由片上控制模块产
生，满足异步时钟读写控制转换。FIFO3的目的是为缓存一行已做同步处理数据，
通过判断当前帧是复位帧还是信号帧，将数据读出发送给高速缓存控制模块或者图
像处理模块。
3．4高速缓存控制模块
sCMOS一帧图像数据量为2 560×2 160×22 bit，约14．5 MB，直接在FPGA
内部缓存整帧处理将不能实现，设计中采用4片DDR3颗粒作为外部存储器，4
片DDR3颗粒容量达1 GB，带宽最高可达12．8 GB/s，本设计运行时钟为600
MHz，实际带宽为9．6 GB/s，可以满足对来自sCMOS的高速数据进行高速缓
存。对DDR3底层操作采用XILINX提供的IP核控制，对DDR3的操作涉及多次
读写，包括读写复位帧数据，读写处理后的数据帧数据，为保证读写效率，本文设
计中以行为单位，每次操作将读或者写一行数据。高速缓存控制模块如图6所示，
其中命令解释模块用于将多个读或写请求信号按照设定的优先级做并串转换，避免
同时到来的请求冲突，按照串行命令选择对应需要存取的地址一同写入命令地址
FIFO，DDR3 IP核将逐一读取FIFO中命令和地址交由IP核执行直到命令地址
FIFO为空为止，同时根据相应命令将需要写入的数据从WR_FIFO读出或者将读
出的数据写入RD_FIFO，读写的时刻和同步信号由需要读写的模块提前产生，保
证后续对数据处理时的及时供应。
3．5图像处理模块
图像处理模块是整个系统驱动程序中的核心模块，主要完成以下4个功能:(1)数字
域相关双采样。(2)高动态数据的合成。(3)图像的预处理。(4)图像输出处理。图像
处理模块结构如图7所示，为了保证图像数据处理过程中可靠性，整个处理模块
工作在100 MHz的时钟下，最终数据以80 MHz，64 bit格式经Camera link接
口输出。
数字域相关双采样模块产生读取FIFO3和高速缓存控制模块的请求，将FIFO3中
实时到来的信号帧行数据与对应存储在DDR3中复位帧行数据读出处理，为了保
证两行数据操作时的严格对齐，双采样模块提前信号帧行数据一行时间将复位帧整
行读取缓存在高速缓存控制模块的RD_FIFO中，当信号帧有效行到来时，将
WR_FIFO与FIFO3同步读出的512 bit数据进行处理。数字域相关双采样实际操
作为两帧数据做减法，FPGA内部实现时还应该考虑信号接近饱和和信号较小时，
信号帧Isig直接与复位帧Irst相减会造成后续采集图像失真的情况，在本设计中
采用分3段处理的方式合成数字双采样后数据帧Idata。
数字相关双采样结果如图8所示，从左往右依次为复位帧，信号帧，数据帧(为显
示高动态范围图像文中图像均做线性拉伸变换)。由数据帧可发现信号帧中的列向
噪声已经基本去除，图像质量有较大改善，该区域内图像性噪比提高2．53 dB。
经过数字相关双采样模块处理后的512 bit数据由16个32 bit像素组成，其中
32 bit数据中包含来自高低增益通道各11 bit有效数据，高增益通道输出的数据
具有更高的数据精度，低增益通道的输出的数据可表示更大的动态范围。系统通过
串口控制设置了3种读出模式，模式一是原始高低通道数据选择输出，不做任何
处理。模式二采用相机手册中建议的方式设定阈值，在高增益通道数据IH小于某
个值IT时，选择高增益通道数据IH输出，而在大于IT时选择低增益通道数据IL
输出。模式三设计了一种曲线拟合双通道数据，将高低增益通道数据合成为16 bit
数据输出。模式一输出的优点在于便于后续对原始数据的研究处理，模式二具有简
单高效，可直观观察到高动态范围数据，但是由于采用阈值的方式，在阈值周围的
灰度值会出现跳跃的现象［5］。模式三的输出减小了灰度跳跃的影响，输出图像
可视性较强，考虑到易于FPGA内部实现，模式三的合成曲线规则设计为3段的
形式，由公式(2)表述，［Ia，Ib］为数据衔接区间，其中k为高低通道增益之比，
用于将高低增益通道数据量纲统一，考虑到由于各放大器差异k并非常数，实际
操作中取均值计算，当选择高通道增益为10倍。低通道增益为1倍时，实测k均
值约为9．54。输出合成16 bit数据IHDR中实际有效数据位宽为14 bit。
经模式三中方法合成的图像如图9所示。
由图9可见原始的双通道输出图像存在过暗或者过亮区域，经过合成高动态范围
图像数据，图像整体可视性有较大提高，11阶渐变条纹能够清晰展示出来。
通过观察采集的图像，经过数字域相关双采样处理和双增益合成的图像还存在较多
随机分布的亮点或者暗点，以及少数坏点。图像预处理模块提供一些常用的滤波处
理规则用于对图像数据进行处理，可通过通信控制模块设置选择中值滤波，均值滤
波，或不做处理直接输出的功能。经过观察采集图像中包含大都为椒盐噪声类型，
通过简单的一维1×3的中值滤波就能达到很好的输出效果。经过图像预处理的数
据流再次存入高速缓存区域供后续整帧读出。
图像输出处理模块主要功能是将在高速缓存区域的整帧数据逐行读出，转换成所需
的输出图像数据格式输出供控制计算机采集或者显示用。本设计中将依据通信控制
命令可裁剪输出图像大小，在80 MHz像素时钟下以标准Camera_link Full模式
信号输出至控制计算机。
设计的相机系统如图10所示，系统上电从配置芯片加载程序后，通过控制计算机
端编写的相机系统操作软件如图11所示，通过控制软件发送控制指令，接收通过
Camera link接口获取图像数据进行显示，系统在全画幅模式(2 560×2 160)下对
实际场景进行了实时拍摄，帧频为50 fps，输出像素深度16 bit，通过操作界面
可选择不同增益通道信号帧，数据帧或者复位帧输出，控制高动态数据融合规则和
图像添加滤波效果。采集的测试图像清晰，灰度层次分明，分辨率高，相机系统具
有较高动态范围。
在分析了CIS-2521图像传感器的像素结构特点的基础上，依照信号完整性和电磁
兼容的要求，采用高性能FPGA和高速DDR3图像缓存器件，设计实现了适合
sCMOS在全局曝光模式下的高动态sCMOS成像硬件系统，通过分析sCMOS时
序设计了高帧频全局电子快门成像驱动控制程序，经过实际成像测试表明所设计的
高动态相机系统工作稳定，可操作性强，输出50帧/s，2 560× 2 160位宽16
bit图像数据，有效数据深度为14 bit，基本满足全局曝光模式下高清高速高动态
范围的CMOS相机需求，为下一步系统成像性能测试和性能改善奠定了硬件基础。
【相关文献】
［1］刘新明，刘文，刘朝晖．大面阵CMOS APS相机系统的设计［J］．光子学报，2009，
38(12):3235-3239．
Liu X M，Liu W，Liu Z H．Design of a large area arrqy CMOS APS camera system
［J］．Acta Photonica Sinica，2009，38 (12):3235-3239．(in Chinese)
［2］罗通顶，李斌康，郭明安，等．科学级CCD远程图像采集系统［J］．光学精密工程，2013，
21(2):496-502．
LuoT D，Li B K，Guo M A，et al．Remote image acquisition system with scientific grade
CCD［J］．Opt．Precision Eng．，2013，21(2):496-502．(in Chinese)
［3］张超，李洪文，贾建禄，等．高帧频多通道图像采集与显示［J］．液晶与显示，2013，
28(4):593-597．
Zhang C，Li H W，Jia J L，et al．High frame rate and multiple channels digital image
acquisition and display［J］．ChineseJournal of Liquid Crystals and Displays，2013，
28(4):593-597．(in Chinese)
［4］杨东来，胡晓东，李俊娜．基于CMOS图像传感器的多斜率积分模式［J］．红外与激光工
程，2012，41(6):1499-1502．
Yang D L，Hu X D，Li J N，et al．Multiple slope integration based on CMOS image
sensor［J］．Infrared and Laser Engineering，2012，41(6):1499-1502．(in Chinese)
［5］Sungho S，Shinya I，Satoshi A，et al．Column-parallel correlated multiple sampling
circuits for CMOS image sensors and their noise reduction effects［J］．Sensors，2010，
10(12):9139-9154．
［6］李晓晨，姚素英，黄碧珍，等．一种应用于高动态范围CMOS图像传感器的曝光控制技术
［J］．传感技术学报，2013，26(3):328-332．
Li X C，Yao S Y，Huang B Z，et al．A novel high dynamic range exposure control for
CMOS image sensor［J］．Chinese Journal of Sensors and Actuators．2013，26(3):328-
332．(in Chinese)
［7］韩红霞，孙航，曹立华．基于FPGA的红外相机时序构造设计［J］．液晶与显示，2014，
29(3):370-376．
Han H X，Sun H，Cao L H．IR camera sequence construction design based on FPGA
［J］．Chinese Journal of Liquid Crystals and Displays，2014，29(3):370-376．(in Chinese)
［8］孙宏海，李泽学，纪华，等．半导体制冷型高帧频CMOS数字摄像机及其成像噪声分析
［J］．光学精密工程，2008，16 (10):2038-2044．
Sun H H，Li Z X，Ji H，et al．High frame rate CMOS digital camera by semiconductor
refrigeration and its imaging noise analysis［J］．Opt．Precision Eng．，2008，
16(10):2038-2044．(in Chinese)