2024年9月7日发(作者：哀语儿)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.2
(22)申请日 2009.12.08
(71)申请人 惠普开发有限公司
地址 美国德克萨斯
(72)发明人 N·达摩拉-温卡塔 N·L·A·常
(74)专利代理机构 永新专利商标代理有限公司
代理人 刘瑜
(51)
H04N5/74
H04N13/00
H04N5/21
(10)申请公布号 CN 102484687 A
(43)申请公布日 2012.05.30
权利要求说明书 说明书 幅图
(54)发明名称
法
(57)摘要
一种用于补偿在3-D投影器相机系
用于补偿在3-D显示中的串扰的方
统中的串扰的方法，该3-D投影器相机系
统具有包括处理器和系统存储器的控制器
以及至少两个信道，该方法包括步骤：校
准投影器相机系统；计算适用于投影器相
机系统的串扰因子；以及，针对串扰基于
计算的串扰因子来校正新的图像数据。通
过下述方式来校准系统：顺序地投影和使
用相机来捕获每一个信道的校准图像，以
捕获在信道之间的串扰。控制器可以基于
所捕获的校准图像来计算串扰因子。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种用于补偿在3-D投影器相机系统中的串扰的方法，所述3-D投影器相机系统
具有包括处理器和系统存储器的控制器以及至少两个信道，所述方法包括步骤：
a)通过下述方式来校准所述投影器相机系统：顺序地投影和使用相机来捕获每一个
信道的校准图像，以捕获在所述信道之间的串扰；
b)经由所述控制器来基于所捕获的图像计算适用于所述投影器相机系统的串扰因子；
以及
c)针对串扰基于所计算的串扰因子来校正新的图像数据。
2.根据权利要求1所述的方法，其中，所述校准图像包括单色的平场。
3.根据权利要求1所述的方法，其中，计算所述串扰因子的步骤包括：所述控制器
基于每一个信道的所捕获的图像数学地构造包括串扰的模拟图像，并且，将所述模
拟图像与理论上无串扰图像作比较，并且求解空间和频谱串扰因子。
4.根据权利要求1所述的方法，其中，所述新的图像数据包括多个脉冲图像。
5.根据权利要求4所述的方法，进一步包括步骤：
(d)基于所述多个脉冲图像的校正来设置运行时间滤光器系数；
(e)使用所述运行时间滤光器系数来校正随后的图像帧；并且
(f)投影所校正的随后的图像帧。
6.根据权利要求1所述的方法，其中，校正所述新的图像数据的步骤包括：使用梯
度下降处理来求解像素值。
7.根据权利要求1所述的方法，进一步包括步骤：在校正后投影所述新的图像数据。
8.根据权利要求1所述的方法，其中，所述投影器相机系统包括多个投影器，所述
多个投影器耦合到所述控制器，并且面向公共投影位置。
9.一种由包括处理器和系统存储器的计算机执行的方法，用于补偿在基于偏振的3-
D投影系统中的串扰，包括步骤：
a)在基于偏振的投影系统的两个信道的每一个上顺序地发送偏振校准图像以向投影
位置进行投影；
b)经由面向所述投影位置的校准相机来捕获所投影的校准图像；
c)经由所述控制器基于所捕获的图像来计算适用于所述投影系统的串扰因子；并且
d)针对串扰基于所计算的串扰因子来校正新的图像数据。
10.根据权利要求9所述的方法，其中，所述新的图像数据包括多个脉冲图像，并
且所述方法进一步包括步骤：
e)基于所述脉冲图像的校正来设置运行时间滤光器系数；并且
f)使用所述运行时间滤光器系数来校准随后的图像帧。
11.根据权利要求9所述的方法，进一步包括步骤：向投影系统提供用于表示所校
正的新的图像数据的数据流来进行投影。
12.一种计算机程序产品，包括机器可读指令，所述机器可读指令被存储在计算机
可读存储介质上，用于使得包括处理器和系统存储器的、耦合到具有至少两个信道
的3-D投影器相机系统的计算设备执行下述步骤：
a)通过下述方式来校准所述投影器相机系统：顺序地投影和使用相机来捕获每一个
信道的偏振图像，以检测在所述信道之间的串扰；
b)基于所捕获的图像计算适用于所述投影器相机系统的串扰因子；以及
c)基于所计算的误差来校正和渲染用于每一个信道的随后图像。
13.根据权利要求12所述的计算机程序产品，其中，计算所述串扰因子的步骤包括：
数学地将相应的理论上无串扰图像与用于数学地表示所捕获的图像的模拟图像作比
较，并且求解所述串扰因子。
14.根据权利要求13所述的方法，进一步包括步骤：
d)数学地将多个模拟脉冲图像与对应的理论上无串扰图像等同；
e)求解等式以获得校正的像素值；并且
f)基于所述校正的像素值来计算运行时间滤光器系数，所述运行时间滤光器系数用
于校正和渲染所述随后的图像。
15.根据权利要求13所述的方法，进一步包括步骤：
d)数学地将用于表示所述随后的图像的单个模拟图像与对应的理论上无串扰图像等
同；
e)求解等式以获得校正的像素值；并且
f)基于所述校正的像素值来渲染所述随后的图像。
说 明 书
背景技术
由于偏振相关的技术的最近发展，基于偏振的3-D系统正在迅速地变为用于运动
画面的最常见的3-D系统。偏振3-D投影的使用是较常见的，这很大程度上是因
为向观众提供偏振眼镜非常便宜。3-D偏振投影使用双互补偏振元件，该双互补偏
振元件中的每一个向每只眼睛发射、发送或反射(经由偏振保持屏幕)由偏振光构成
的图像。经由在观众的眼镜中的对应的互补偏振透镜来选择到达每只眼睛的光，以
产生对于每只眼睛不同的图像，从而给出立体视觉的效果，并且因此所投影图像中
的立体感效果。
在3-D偏振投影中的一个重要挑战是在图像信道之间的串扰。即，意图用于一只
眼睛的图像的一部分渗出或泄漏到另一只眼睛，因此降低图像质量。在3-D偏振
投影系统中的串扰通常因为在偏振和选择过程中的缺陷而出现。
附图说明
通过结合附图进行的以下详细描述，本公开的各种特征和优点将会显而易见，其中，
所述附图一起以示例的方式说明了本公开的特征，并且其中：
图1A是说明用于投影水平偏振的子帧的单个投影器基于偏振的3-D显示系统的图；
图1B是说明用于投影垂直偏振的子帧的、图1A的单个投影器基于偏振的3-D显
示系统的图；
图2是多投影器3-D显示系统的一个实施例的框图；
图3是概述根据本公开的、用于减少在基于偏振的3-D投影系统中的串扰的方法的
一个实施例中的步骤的流程图；以及
图4是概述根据本公开的、用于减少在基于偏振的3-D投影系统中的串扰的方法的
另一个实施例中的步骤的流程图。
具体实施方式
现在参考在附图中说明的示例性实施例，并且在此将使用特定语言来描述它。然而，
应当理解，将不由此意图限制本公开的范围。相关领域的并且拥有本公开的技术人
员将会想到的、本文中所说明的特征的改变和进一步的修改以及本文中所说明的原
理的另外的应用被认为在本公开的范围内。
参考所描述的附图的方向来使用诸如“上”、“下”、“前”、“后”、“首部”、“尾部”等
的本文中使用的方向术语。因为本文中公开的各个实施例的部件可以位于多个不同
方向上，所以方向术语仅用于说明性目的，并且不意图是限制性的。
本文中使用的术语“计算机”指的是任何类型的计算设备，包括个人计算机、大型计
算机、便携式计算机、PDA、智能电话或工作站计算机，该工作站计算机包括处
理单元、系统存储器和系统总线，该系统总线将处理单元耦合到计算机的各个部件。
处理单元可以包括一个或多个处理器，其每一个可以是各种可商业获得的处理器的
任何一种的形式。通常，每一个处理器从只读存储器(ROM)和/或随机存取存储器
(RAM)接收指令和数据。系统存储器通常包括：ROM，其存储基本输入/输出系统
(BIOS)，该基本输入/输出系统(BIOS)包含计算机的启动例程；以及，RAM，用于
存储计算机程序指令和数据。
计算机通常也包括用于用户交互(例如，输入命令或数据，接收或查看结果)的输入
设备，诸如键盘、指示设备(例如，计算机鼠标)、麦克风、相机或已知用于计算设
备的任何其他输入模块。计算机也可以包括输出设备，诸如监控器或显示器、投影
器、打印机、音频扬声器或已知可由计算设备控制的任何其他设备。在一些实施例
中，计算机也可以包括一个或多个图形卡，其每一个能够驱动被同步到内部或外部
时钟源的一个或多个显示输出。
本文中所使用的术语“计算机程序”指代在有形计算机可读存储介质上存储的机器可
读指令，用于使得包括处理器和系统存储器的计算设备执行一系列处理步骤，该一
系列处理步骤变换数据和/或产生有形结果，诸如显示指示或打印的标记(indicia)。
本文中所使用的术语“计算机可读介质”包括任何种类的存储器或存储器设备，不论
是易失性或非易失性的，诸如软盘、硬盘、CD-ROM、闪速存储器、只读存储器
和随机存取存储器，该存储器或存储器设备适合于提供数据、数据结构和机器可执
行指令的非易失性或永久存储。适合于有形地包含这些指令和数据的存储设备包括
所有形式的非易失性存储器，例如包括：半导体存储器设备，诸如EPROM、
EEPROM和闪速存储器设备；磁盘，诸如内部硬盘和可移除式盘；磁光盘；以及
光盘，诸如CD、CDROM、DVD-ROM、DVD-RAM和DVD-RW。以上类型的计
算机可读介质或相关设备的任何一种可以与计算机相关联或被包括作为计算机的一
部分，并且通过相应的接口来连接到系统总线。其他计算机可读存储设备(例如，
磁带驱动器、闪速存储器设备和数字视频盘)也可以用于计算机。
本文中所使用的术语“子帧”指的是由单个投影器对于一只眼睛产生的显示图像的那
个部分。由来自一个投影器或来自多个投影器的多个子帧产生的完整的显示图像被
称为“合成图像”。应当明白，单个投影器可以通过时间复用来产生合成图像以顺序
地投影单独的子帧，并且也可以通过在多投影器系统中的投影器的子组(即，少于
所有的投影器)产生合成图像。
如上所述，3-D偏振投影使用双互补偏振元件，该双互补偏振元件向偏振保持屏幕
发射、发送或反射由偏振光构成的图像。佩戴具有偏振透镜的特殊眼镜的观众然后
观看图像。
3-D偏振投影系统可以使用单个投影器或多个投影器。在图1A中示出基于偏振的
3-D图像显示系统100的一个实施例的图。图像显示系统100包括计算机处理器
102，其处理图像数据并且向投影器112发送图像数据，投影器112包括双互补偏
振元件并且向偏振保持屏幕106投影通常被指示在114的偏振图像。计算机处理器
102可以包括双头图形卡，该双头图形卡具有用于左眼图像和右眼图像的分离的信
道。图像可以包括任何画面、图形或文本字符、符号、图示或其他信息表示。显示
系统也可以包括校准相机122，校准相机122互连到计算机处理器102，以提供校
准的反馈，如下面更详细地讨论的。
当使用单个投影器112时，投影器被时间复用以向屏幕106交错地投影右眼视图和
左眼视图。在图1A中所示的示例表示线性偏振系统，但是应当理解，圆形偏振系
统也可以用于3-D基于偏振的投影。对于线性偏振，为了使用单个投影器来提供
立体运动画面，对于每一个帧，将两个图像通过不同角度的偏振滤光器(filter)顺序
地投影到屏幕上。偏振滤光器可以是正交偏振的(即，在相对于彼此的90度角被偏
振)或以某个其他较大的角度偏振的。
屏幕被特别构造为非消偏振的，以便保持偏振。屏幕也可以被配置来保持亮度，以
便补偿光损失(因为一只眼睛观看一个帧，而另一只眼睛看不到任何东西)。
为了观看图像，观众佩戴包含一对偏振滤光器110a、110b的低成本眼镜108。为
了说明性的目的，分别使用表示正交的偏振透镜的水平和垂直线来示出在图1A和
1B中所示的眼镜的透镜。即，右透镜110a是水平偏振的，而左透镜110b是垂直
偏振的。应当意识到，图1A和1B仅是说明性的。在实际实践中，偏振的各个角
度可以与水平和垂直不同。例如，在许多基于偏振的3-D系统中，每一个透镜的
偏振角被分别设置在45°和135°。因为每一个滤光器仅通过被类似地偏振的光并且
阻挡其他光，因此每只眼睛仅看到被类似地偏振的总的图像的一部分。即，向每只
眼睛的光被选择来向每只眼睛产生不同的图像，从而产生立体视觉并且给出所投影
的图像的立体感效应。有利地，这种手段可以使得几个人能够同时观看立体图像，
即使没有头的跟踪。
在图1A中，示出了正在投影水平偏振的子帧114a的投影系统100。因为其偏振，
这个图像将通过偏振眼镜108的右透镜110a，并且将被那些眼镜的左透镜110b阻
挡，因为那个透镜是垂直偏振的。然而，在图1B中，投影器112正在投影垂直偏
振的子帧114b，该垂直偏振的子帧114b将被具有对应的偏振的左透镜110b透射，
但是将被水平偏振的右透镜110a阻挡。以这种方式，观众的右眼和左眼将看到不
同的子帧，从而允许略微不同的视图被每只眼睛感知，以便提供3-D图像的显现。
可以以正常的视频刷新率的某个倍数交错地投影这些偏振的子帧。例如，当视频投
影系统的正常刷新率是每秒60帧时，单个投影器系统100可以被配置来以每秒
120子帧的速率投影单独的偏振的子帧，以向每只眼睛提供每秒60个全帧的等价
效果。本领域内的技术人员将认识到，也可以使用其他刷新率和子帧速率。
3-D偏振投影系统也可以使用多个投影器。在图2中示出多投影器3-D显示系统的
图。虽然该系统被示出为具有两个投影器，但是应当明白，也可以使用利用超过两
个投影器的多投影器系统。两个投影器的使用允许一个投影器投影右眼图像，而另
一个投影器在基本上重叠的位置中投影左眼图像。
图像显示系统200处理图像数据202，并且产生对应的偏振显示图像214。该图像
显示系统包括图像帧缓冲器204、子帧产生器208、投影器212A-212B(统称为投影
器212)、相机222和校准单元224。图像帧缓冲器204接收和缓冲图像数据202，
以建立图像帧206。子帧产生器208处理图像帧206以定义被不同地偏振的对应的
图像子帧210A-210B(统称为子帧210)。在一个实施例中，对于每一个图像帧206，
子帧产生器208产生用于投影器212A的一个子帧210A和用于投影器212B的一个
子帧210B，这些子帧分别对应于右眼图像和左眼图像。子帧210A-210B分别被投
影器212A-212B接收，并且分别被存储在图像帧缓冲器113A-113B(统称为图像帧
缓冲器113)中。投影器212A-212B分别将偏振的子帧210A-210B投影在屏幕216
上，以产生由用户观看的合成显示图像214。来自投影器212A的图像与被投影器
212B投影的图像不同地被偏振，使得观众的眼镜232的各个透镜230a、230b将不
同的图像传递到达每一只眼睛，从而在结果产生的图像中产生立体感效果。
图像帧缓冲器204包括存储器，用于存储用于一个或多个图像帧206的图像数据
202。因此，图像帧缓冲器204构成一个或多个图像帧206的数据库。图像帧缓冲
器113也包括用于存储子帧210的存储器。图像帧缓冲器204和113的示例包括非
易失性存储器(例如，硬盘驱动器或其他永久存储设备)，并且可以包括易失性存储
器(例如，随机存取存储器(RAM))。
子帧产生器208接收和处理图像帧206以定义多个图像子帧210。子帧产生器208
基于在图像帧206中的图像数据来产生子帧210。投影器212从子帧产生器208接
收图像子帧210，并且可以同时在目标表面216上投影图像子帧210。当使用两个
投影器时，可以以基本上重叠的关系来投影这些子帧，以同时提供总的图像214的
两个偏振的子帧，而不是在图1A、1B的实施例中那样的时间复用。然而，当使用
超过两个投影器时，选择的子帧也可能被投影到在空间上偏离的位置，以产生倾斜
或部分重叠的合成图像214。这可以允许通过使用来自多个投影器212的重叠的低
分辨率子帧210来提供更大或更宽图像或具有更高分辨率显示的显现的图像。
本领域内的技术人员将可以明白，可以以硬件、软件、固件或其任何组合来实现由
子帧产生器208执行的功能。该实现方式可以经由微处理器、可编程逻辑设备或状
态机。系统的部件可以以软件驻留在一个或多个计算机可读介质设备上。
也在图2中示出具有图像帧缓冲器220的参考投影器218。在图2中以隐藏线示出
参考投影器218，因为在一个实施例中，投影器218不是实际投影器，而是在用于
产生最佳子帧210的图像形成模型中使用的假设高分辨率参考投影器。在一个实施
例中，实际投影器212中的一个的位置可以被定义为参考投影器218的位置。显示
系统200也可以包括相机222和校准单元224，它们可以用于自动地确定在投影器
212和参考投影器218之间的几何映射。
图像显示系统200可以包括硬件、软件、固件或这些的组合。在一个实施例中，图
像显示系统200的一个或多个部件(例如，帧缓冲器204、子帧产生器208和校准单
元224)被包括在计算机、计算机服务器或能够执行逻辑操作的序列并且具有系统
存储器的其他基于微处理器的系统中。在本文中，这样的系统通常被称为用于多投
影器系统的“控制器”。另外，可以在例如在联网的或多个计算单元环境(例如，成
簇的计算机)中的系统上分布处理，单独的部分在分离的系统部件中实现。
如在图1中所示并且如上所述的单个投影器实施例，相机222耦合到校准单元224，
并且用于确定用于几何、颜色、亮度等的补偿参数，以允许多投影器系统形成无缝
图像。
如上所述，在3-D偏振投影中的一个重要挑战是在图像信道之间的串扰。即，意
图用于一只眼睛的图像的部分泄漏或渗透到另一只眼睛，因此降低图像质量。这种
串扰可以出现在单投影器或多投影器3-D系统中。在3-D偏振投影系统中的串扰
通常是由于偏振和选择过程中的缺陷而出现的。例如，串扰可以源自给定投影器的
偏振板，其可能未将投影光完全偏振到期望的角度。另外，被配置来保持偏振的投
影屏幕可能不如此良好地进行，并且，在观众佩戴来选择期望信号的眼镜中的偏振
滤光器也可能采集其他信号。在基于偏振的3-D投影系统中的串扰可以源自这些
和其他来源。
用于降低串扰的大多数手段已经聚焦在改进的硬件上，诸如更好的投影屏幕材料、
更好的偏振滤光器和更好的偏振眼镜。不幸的是，在硬件上的改进往往是昂贵的，
并且会需要大量时间来实现。
如本文中所公开的，已经开发出用于降低在基于偏振的3-D投影系统中的串扰的
非硬件方法。这种方法包含：在校准阶段期间经由相机或记录设备来观察在信道之
间的光泄漏。然后通过经由计算过程数字地校正对于左眼和右眼显示的图像来补偿
该泄漏。虽然本文中所示的实施例是基于偏振的系统，但是本文中公开的方法也可
以应用于其他串扰消除(cross-canceling)技术，诸如互补频谱手段(例如针对每只眼
睛使用红-绿色滤光器)。另外，虽然所示出和描述的实施例包括分别用于左眼和右
眼的两个信道，但是也可以将该方法扩展用于多于两个信道。
在图3中提供了用于概述在这种方法的一个实施例中的步骤的流程图。该方法具有
三个主要阶段：校准阶段302、计算阶段304和校正/渲染阶段306。校准阶段提供
了在计算阶段中计算机(例如，在图1中的计算机控制器102)要使用的数据。可以
由计算机控制器来执行计算和渲染阶段，该计算机控制器提供了具有处理器和系统
存储器的计算机系统。在每一个阶段中执行的步骤可以存储为在计算机的存储器中
存储的程序步骤。在校准阶段中，致力于左眼图像的显示元件(即，投影器)用于分
别针对每个信道投影校准图像(例如，偏振图像)(步骤308)。即，对于两信道系统，
左眼投影器首先投影用于左眼的图像，然后投影用于右眼的图像。然后，致力于右
眼图像的显示元件也用于投影用于每只眼的图像。当包含多个投影器时，对于每个
投影器重复这个过程。如在图3的流程图中所示，投影的图像可以是被用作用于多
投影器系统的训练过程的一部分的脉冲图像，例如在下文中概述：-
Venkata， and o，″A UnifiedParadigm for Scalable Multi-
Projector Displays″，IEEE Visualizationand Computer Graphics，Nov.-
Dec.2007(以下称为“Damera-Venkata、Chang和Dicarlo”。
如本领域内的技术人员将意识到的，可以将各种不同的校准模式用于在单投影器或
多投影器系统中的几何和色彩校准。然而，当涉及用于串扰的校准时，校准模式可
以是每种基色的平场(flat field)。即，对于红绿蓝(RGB)投影系统，则每个校准屏幕
可以是(假定)均匀强度的单基色的固体图像。使用在投影器上的偏振滤光器来顺序
地投影每个校准图像，而不像用于相机投影器系统的通常的几何或色彩校准那样。
当显示每一个图像时，相机(即，在图2中的校准相机222)使用双偏振滤光器来观
察投影的图像，以便模仿偏振眼镜的效果(步骤310)。可以通过下述方式来执行这
一点：首先，在相机上引入一个偏振滤光器并且拍摄图像，然后，使用另一个偏振
滤光器来重复该过程。在这个步骤中假定滤光器位于与佩戴偏振眼镜的观众将位于
的方向类似的方向(相对于屏幕)。这个步骤捕获串扰，因为从一个图像向另一个图
像的任何泄漏将会显示出来。例如，假定RGB投影系统，当投影针对左眼的红色
校准图像时，右眼在理论上应当看不到任何东西。然而，在存在泄漏的情况下，右
眼图像将会在某些视域中捕获一定水平的红光，并且也可能捕获其他光，诸如绿色
和蓝色。这反映了下述情况：除了空间泄漏之外，系统也可以显示频谱泄漏。相反
情况也成立：当投影针对右眼的红色校准图像时，任何泄漏将显示是由左眼捕获的
一定水平的红色以及也可能的蓝色和绿色光。如上所述，对于右/左眼图像和每一
个投影器的右/左眼接收的每一个组合重复拍摄这些图像的这个过程。
本领域内的技术人员可以认识到，可以与几何、亮度和色彩校准相结合地执行如上
所述的校准手段，特别是当使用多相机系统时。例如，在相机组的几何校准后，除
了用于检测串扰的投影校准模式之外，红、绿和蓝色基色的顺序投影也可以用于允
许色彩校准。然而，在多投影器系统中，通常在完成几何校准后执行本文公开的串
扰校准过程，使得来自每一个投影器的图像将在空间上以期望的方式定向。也可以
执行其他校准操作。也显然的是，当3-D显示系统不是基于偏振的系统时，捕获
投影的校准图像的步骤(步骤310)将包括：校准相机使用某个其他适当的滤光器(例
如，滤色器)而不是偏振滤光器来观察校准图像。
基于从步骤310捕获的图像，在计算阶段304中的第一步骤是：构造如果从投影器
投影给定图像则眼睛将会看到的内容的模拟图像或模型(步骤312)。这种模型是被
投影的实际图像的数值模型。换句话说，计算机系统分析由校准相机捕获的图像，
并且构造该图像的数值模型。该数值模型表示与实际捕获的图像对应的数据流。如
果y用于表示在坐标(m，n)处的给定像素的颜色值，并且l表示该像素的亮度值，
则可以通过下面的表达式来表示模拟图像的构造：
Clyl(m，n)ll(m，
n)+Crlyr(m，n)lrl(m，n)＝xl(m，
n) [1]
Cryr(m，n)lr(m，
n)+Clryl(m，n)llr(m，n)＝xr(m，
n) [2]
在这些表达式中，下标l和r分别表示左右图像。观看等式[1]的第一项，
Cl表示用于左眼的单位矩阵，yl表示在坐标(m，n)处的意
图对于左眼投影的像素值(即，颜色)，并且ll表示该像素的亮度。在
等式[2]中提供了类似的第一项，除了它适用于右眼。每一个等式的第二项引入的
串扰的效果。项Crl和Clr表示在两个信道之间的频谱串
扰。项lrl和llr表示在两个信道之间的空间串扰。在等式
[1]和[2]的左侧的这些表达式表示每只眼睛的模拟图像，并且被表示为
xl和xr。
然后，将由等式[1]和[2]的左侧上的项表示的“模拟”图像与期望的理论上无串扰图
像作比较(步骤312)。具体地说，用于表示没有串扰的期望图像的数学表达式被代
入等式[1]和[2]的右侧以取代xl和xr。期望的无串扰图像
是由计算机控制器确定的理论图像，并且表示如果没有串扰则相机应当捕获的图像
的数值模型。换句话说，理论图像是已经被变换为将产生没有串扰的理想投影系统
的期望相机视图的图像数据流。当使用多个投影器时，该图像表示来自每一个投影
器的一致可行理想图像。例如，因为在给定的多投影器系统中的不同投影器可以每
一个具有不同的色域，所以理论图像将考虑这一点，并且将每种颜色表示为所有投
影器的交叉域的分量，使得理论图像对于所有投影器可行。为了本公开的目的，假
定控制器系统已经被编程为“知道”这些共性的各个方面。当计算理论图像时，可以
考虑在投影器之间的其他共性方面。
下一个步骤是求解串扰参数或在等式[1]和[2]中的因子C和l。这个步骤包括：将用
于表示模拟图像和理论图像的表达式设置得彼此相等，然后求解变量C和l。这是
步骤314。因为已知针对校准图像的像素值y，所以可以使用等式[1]和[2]来直接地
获得C和l的值。C和l的值表示给定投影器的特性，并且不与图像相关，而y的
值是图像相关的。然而，对于包括单色的平场的校准图像，y值将是已知的，允许
对于等式[1]和[2]直接地求解给定投影器的C和l。C和l的这些值可以被存储在计
算机存储器中。
在确定了串扰因子(C和l的值)的情况下，下一步骤是接收新的图像数据(步骤316)，
并且求解在等式[1]和[2]中的像素值y(步骤318)。该新的图像数据可以是例如用于
表示脉冲或训练图像的数据或用于表示某个其他图像的数据。用于表示新的图像数
据的数学表达式以与如上所述的代入理论图像的方式类似的方式来被代入等式[1]
和[2]，然后，对于等式求解像素值y。
虽然上文相对于等式[1]和[2]描述的示例性实施例涉及两信道(左和右)系统，但是本
文公开的方法也可以被扩展来支持多于两个信道。即，可以以类似的方式来补偿在
多于两个投影信道之间的串扰。当涉及多于两个信道时，可以扩展相关的等式。例
如，当涉及三个信道时，将使用与以上的等式[1]和[2]类似的三个等式的组，但是，
三个等式中的每一个将包括另外的项，以考虑另外的串扰路径。
在图3中概述的实施例中，如重复块320所示，可以对于在训练过程中的多个脉冲
图像多次重复下述过程：接收每一个投影器的脉冲图像，然后计算用于校正该图像
的像素值。这种类型的训练过程是本领域内的技术人员已知的，并且在Damera-
Venkata、Chang和Dicarlo中和下文中被提供：-Venkata and ，
“Realizing Super-resolution WithSuperimposed Projection”，
International Workshop onProjector-Camera Systems(ProCams)，
Minneapolis，MN，June 2007(以下称为“Damera-Venkata和Chang”)。
通过对于一系列脉冲图像执行这个训练过程，可以获得校正的y值的若干集合。这
些校正的像素值可以被一起用于产生可以用于在渲染阶段306中的任何随后的图像
的一组线性运行时间滤光器系数(步骤322)。即，一旦在步骤318中已经校正了脉
冲图像，则该系统可以确定一系列线性系数(步骤322)，通过该一系列线性系数，
可以在投影之前实时地变换所有随后的图像的数据流(步骤324)。这些系数允许随
后的图像的迅速校正以减少串扰，使得每一个随后的图像帧比未校正时更接近理论
上无串扰图像。
本文所述的过程是图像依赖的。即，给定的图像帧的校正(不论是校准模式或其他
图像)是唯一的。因此，在步骤318中获得的计算解对于在步骤316中使用的每一
个图像不同。然而，通过多次重复训练过程，如在步骤320中所示，可以在滤光器
中封装各种数学迭代的误差项，以获得运行时间滤光器系数，使得可以使用相同的
一组滤光器来计算任何输入的输出，以允许更快的实时渲染。因此，如上所述的训
练方法提供大大减少随后的图像的串扰的运行时间滤光器系数，虽然在一些图像中
仍然可能出现少量的串扰。虽然这种手段不必然产生对于每一个图像帧的完美校准，
但是它提供了每一个图像帧的近似解，以大大地减少在移动视频图像中的串扰。
替代地，在另一个实施例中，该系统可以实时地对于视频流中的每一个图像帧执行
连续的串扰校正。在图4中提供了概述在这个实施例中的步骤的流程图。类似于在
图3中给出的过程，这个过程包括校准阶段402、计算阶段404和渲染阶段406。
类似于在先前的实施例中，在校准阶段中，首先通过用于每只眼睛的每一个投影器
来投影偏振的校准图像(步骤408)。在步骤410中，如在步骤310中一样，首先对
于一只眼，然后对于另一只眼执行以下操作：通过具有偏振滤光器的校准相机来观
看图像。
计算模拟图像(步骤412)、使模拟图像与理论图像等同(步骤414)以及求解串扰因子
“C”和“l”(步骤416)的过程也与在图3的实施例中的可比较步骤相同。然而，不是
使用脉冲图像来产生运行时间滤光器系数，而是在步骤416中确定的串扰因子“C”
和“l”被直接地应用到在步骤418中接收的新的图像数据。具体地说，在步骤418
中接收用于表示新的图像帧的数据。使新的图像数据与其中具有“C”和“l”的值的等
式[1]和[2]的表达式等同。这允许系统求解该特定图像的像素值y(步骤420)。
不是使用这些值来创建运行时间滤光器系数，而是直接地校正在步骤418中接收的
图像数据，并且使用校正的像素值来投影该特定图像(步骤422)。应当明白，等式
[1]和[2]是线性的。然而，将y的值限制为在0和1之间，因为像素不能具有负值
或大于1的值。在这种限制的情况下，这些等式变为非线性的，但是可以使用诸如
梯度下降处理的迭代计算处理来求解这些等式。查看上面的等式[1]，计算机系统
被编程来进行yl和yr值的初始估计或猜测，然后找到误
差项，调整yl和yr值，并且重复该过程直到在施加误差
项的情况下模拟图像和新的图像数据集相等。这个过程最后提供了用于新的图像数
据的串扰校正。梯度下降处理是非线性的。因此，梯度下降计算最后得出特定图像
的单个解，该特定图像将针对串扰被校正。在如上引用的Damera-Venkata、Chang
和Dicarlo以及Damera-Venkata和Chang的参考文献中概述了用于迭代地求解多个
像素值的这种类型的处理。应当理解，除了梯度下降方法之外，也可以使用用于求
解这些线性等式的其他方法。
投影校正的图像(步骤422)，并且，然后可以对于下一个图像帧重复这个过程(步骤
424)，返回到步骤418。以这种方式，视频流的每一个帧可以接收唯一校准。对于
视频流的每一个图像帧实时地执行这些校准计算提供了较高质量的图像，虽然它会
使得投影系统的速度降低。换句话说，在图4中概述的过程比在图3中概述的过程
提供更高质量的图像，但是需要更多的计算机处理。因此，对于不要求全运动视频
的静止图像或应用，可以使用图4的过程来提供比在图3中概述的方法更高质量的
图像。尽管如此，在具有足够的微处理器能力的情况下，也可以使得在图4中概述
的过程以适合于移动视频的速度来接收和校正视频图像。
本文中公开的方法提供了对于3-D串扰的计算解决方案，而不是硬件手段。在计
算上补偿串扰允许使用低成本部件，并且可以甚至在高质量内容的情况下改善质量。
通过这种补偿，图像变得更锐利，因为由于串扰导致的模糊被大大地减少。如上所
述，也应当明白，本文中公开的方法也能够适用于其他串扰消除技术，诸如互补频
谱手段，并且该方法也可以通过扩展相关等式而被扩展来支持多于两个信道。
应当理解，上述的布置是本文中公开的原理的说明性应用。对于本领域内的普通技
术人员显而易见的是，可以在不偏离在权利要求中阐述的本公开的原理和概念的情
况下进行多种修改。
2024年9月7日发(作者：哀语儿)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.2
(22)申请日 2009.12.08
(71)申请人 惠普开发有限公司
地址 美国德克萨斯
(72)发明人 N·达摩拉-温卡塔 N·L·A·常
(74)专利代理机构 永新专利商标代理有限公司
代理人 刘瑜
(51)
H04N5/74
H04N13/00
H04N5/21
(10)申请公布号 CN 102484687 A
(43)申请公布日 2012.05.30
权利要求说明书 说明书 幅图
(54)发明名称
法
(57)摘要
一种用于补偿在3-D投影器相机系
用于补偿在3-D显示中的串扰的方
统中的串扰的方法，该3-D投影器相机系
统具有包括处理器和系统存储器的控制器
以及至少两个信道，该方法包括步骤：校
准投影器相机系统；计算适用于投影器相
机系统的串扰因子；以及，针对串扰基于
计算的串扰因子来校正新的图像数据。通
过下述方式来校准系统：顺序地投影和使
用相机来捕获每一个信道的校准图像，以
捕获在信道之间的串扰。控制器可以基于
所捕获的校准图像来计算串扰因子。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种用于补偿在3-D投影器相机系统中的串扰的方法，所述3-D投影器相机系统
具有包括处理器和系统存储器的控制器以及至少两个信道，所述方法包括步骤：
a)通过下述方式来校准所述投影器相机系统：顺序地投影和使用相机来捕获每一个
信道的校准图像，以捕获在所述信道之间的串扰；
b)经由所述控制器来基于所捕获的图像计算适用于所述投影器相机系统的串扰因子；
以及
c)针对串扰基于所计算的串扰因子来校正新的图像数据。
2.根据权利要求1所述的方法，其中，所述校准图像包括单色的平场。
3.根据权利要求1所述的方法，其中，计算所述串扰因子的步骤包括：所述控制器
基于每一个信道的所捕获的图像数学地构造包括串扰的模拟图像，并且，将所述模
拟图像与理论上无串扰图像作比较，并且求解空间和频谱串扰因子。
4.根据权利要求1所述的方法，其中，所述新的图像数据包括多个脉冲图像。
5.根据权利要求4所述的方法，进一步包括步骤：
(d)基于所述多个脉冲图像的校正来设置运行时间滤光器系数；
(e)使用所述运行时间滤光器系数来校正随后的图像帧；并且
(f)投影所校正的随后的图像帧。
6.根据权利要求1所述的方法，其中，校正所述新的图像数据的步骤包括：使用梯
度下降处理来求解像素值。
7.根据权利要求1所述的方法，进一步包括步骤：在校正后投影所述新的图像数据。
8.根据权利要求1所述的方法，其中，所述投影器相机系统包括多个投影器，所述
多个投影器耦合到所述控制器，并且面向公共投影位置。
9.一种由包括处理器和系统存储器的计算机执行的方法，用于补偿在基于偏振的3-
D投影系统中的串扰，包括步骤：
a)在基于偏振的投影系统的两个信道的每一个上顺序地发送偏振校准图像以向投影
位置进行投影；
b)经由面向所述投影位置的校准相机来捕获所投影的校准图像；
c)经由所述控制器基于所捕获的图像来计算适用于所述投影系统的串扰因子；并且
d)针对串扰基于所计算的串扰因子来校正新的图像数据。
10.根据权利要求9所述的方法，其中，所述新的图像数据包括多个脉冲图像，并
且所述方法进一步包括步骤：
e)基于所述脉冲图像的校正来设置运行时间滤光器系数；并且
f)使用所述运行时间滤光器系数来校准随后的图像帧。
11.根据权利要求9所述的方法，进一步包括步骤：向投影系统提供用于表示所校
正的新的图像数据的数据流来进行投影。
12.一种计算机程序产品，包括机器可读指令，所述机器可读指令被存储在计算机
可读存储介质上，用于使得包括处理器和系统存储器的、耦合到具有至少两个信道
的3-D投影器相机系统的计算设备执行下述步骤：
a)通过下述方式来校准所述投影器相机系统：顺序地投影和使用相机来捕获每一个
信道的偏振图像，以检测在所述信道之间的串扰；
b)基于所捕获的图像计算适用于所述投影器相机系统的串扰因子；以及
c)基于所计算的误差来校正和渲染用于每一个信道的随后图像。
13.根据权利要求12所述的计算机程序产品，其中，计算所述串扰因子的步骤包括：
数学地将相应的理论上无串扰图像与用于数学地表示所捕获的图像的模拟图像作比
较，并且求解所述串扰因子。
14.根据权利要求13所述的方法，进一步包括步骤：
d)数学地将多个模拟脉冲图像与对应的理论上无串扰图像等同；
e)求解等式以获得校正的像素值；并且
f)基于所述校正的像素值来计算运行时间滤光器系数，所述运行时间滤光器系数用
于校正和渲染所述随后的图像。
15.根据权利要求13所述的方法，进一步包括步骤：
d)数学地将用于表示所述随后的图像的单个模拟图像与对应的理论上无串扰图像等
同；
e)求解等式以获得校正的像素值；并且
f)基于所述校正的像素值来渲染所述随后的图像。
说 明 书
背景技术
由于偏振相关的技术的最近发展，基于偏振的3-D系统正在迅速地变为用于运动
画面的最常见的3-D系统。偏振3-D投影的使用是较常见的，这很大程度上是因
为向观众提供偏振眼镜非常便宜。3-D偏振投影使用双互补偏振元件，该双互补偏
振元件中的每一个向每只眼睛发射、发送或反射(经由偏振保持屏幕)由偏振光构成
的图像。经由在观众的眼镜中的对应的互补偏振透镜来选择到达每只眼睛的光，以
产生对于每只眼睛不同的图像，从而给出立体视觉的效果，并且因此所投影图像中
的立体感效果。
在3-D偏振投影中的一个重要挑战是在图像信道之间的串扰。即，意图用于一只
眼睛的图像的一部分渗出或泄漏到另一只眼睛，因此降低图像质量。在3-D偏振
投影系统中的串扰通常因为在偏振和选择过程中的缺陷而出现。
附图说明
通过结合附图进行的以下详细描述，本公开的各种特征和优点将会显而易见，其中，
所述附图一起以示例的方式说明了本公开的特征，并且其中：
图1A是说明用于投影水平偏振的子帧的单个投影器基于偏振的3-D显示系统的图；
图1B是说明用于投影垂直偏振的子帧的、图1A的单个投影器基于偏振的3-D显
示系统的图；
图2是多投影器3-D显示系统的一个实施例的框图；
图3是概述根据本公开的、用于减少在基于偏振的3-D投影系统中的串扰的方法的
一个实施例中的步骤的流程图；以及
图4是概述根据本公开的、用于减少在基于偏振的3-D投影系统中的串扰的方法的
另一个实施例中的步骤的流程图。
具体实施方式
现在参考在附图中说明的示例性实施例，并且在此将使用特定语言来描述它。然而，
应当理解，将不由此意图限制本公开的范围。相关领域的并且拥有本公开的技术人
员将会想到的、本文中所说明的特征的改变和进一步的修改以及本文中所说明的原
理的另外的应用被认为在本公开的范围内。
参考所描述的附图的方向来使用诸如“上”、“下”、“前”、“后”、“首部”、“尾部”等
的本文中使用的方向术语。因为本文中公开的各个实施例的部件可以位于多个不同
方向上，所以方向术语仅用于说明性目的，并且不意图是限制性的。
本文中使用的术语“计算机”指的是任何类型的计算设备，包括个人计算机、大型计
算机、便携式计算机、PDA、智能电话或工作站计算机，该工作站计算机包括处
理单元、系统存储器和系统总线，该系统总线将处理单元耦合到计算机的各个部件。
处理单元可以包括一个或多个处理器，其每一个可以是各种可商业获得的处理器的
任何一种的形式。通常，每一个处理器从只读存储器(ROM)和/或随机存取存储器
(RAM)接收指令和数据。系统存储器通常包括：ROM，其存储基本输入/输出系统
(BIOS)，该基本输入/输出系统(BIOS)包含计算机的启动例程；以及，RAM，用于
存储计算机程序指令和数据。
计算机通常也包括用于用户交互(例如，输入命令或数据，接收或查看结果)的输入
设备，诸如键盘、指示设备(例如，计算机鼠标)、麦克风、相机或已知用于计算设
备的任何其他输入模块。计算机也可以包括输出设备，诸如监控器或显示器、投影
器、打印机、音频扬声器或已知可由计算设备控制的任何其他设备。在一些实施例
中，计算机也可以包括一个或多个图形卡，其每一个能够驱动被同步到内部或外部
时钟源的一个或多个显示输出。
本文中所使用的术语“计算机程序”指代在有形计算机可读存储介质上存储的机器可
读指令，用于使得包括处理器和系统存储器的计算设备执行一系列处理步骤，该一
系列处理步骤变换数据和/或产生有形结果，诸如显示指示或打印的标记(indicia)。
本文中所使用的术语“计算机可读介质”包括任何种类的存储器或存储器设备，不论
是易失性或非易失性的，诸如软盘、硬盘、CD-ROM、闪速存储器、只读存储器
和随机存取存储器，该存储器或存储器设备适合于提供数据、数据结构和机器可执
行指令的非易失性或永久存储。适合于有形地包含这些指令和数据的存储设备包括
所有形式的非易失性存储器，例如包括：半导体存储器设备，诸如EPROM、
EEPROM和闪速存储器设备；磁盘，诸如内部硬盘和可移除式盘；磁光盘；以及
光盘，诸如CD、CDROM、DVD-ROM、DVD-RAM和DVD-RW。以上类型的计
算机可读介质或相关设备的任何一种可以与计算机相关联或被包括作为计算机的一
部分，并且通过相应的接口来连接到系统总线。其他计算机可读存储设备(例如，
磁带驱动器、闪速存储器设备和数字视频盘)也可以用于计算机。
本文中所使用的术语“子帧”指的是由单个投影器对于一只眼睛产生的显示图像的那
个部分。由来自一个投影器或来自多个投影器的多个子帧产生的完整的显示图像被
称为“合成图像”。应当明白，单个投影器可以通过时间复用来产生合成图像以顺序
地投影单独的子帧，并且也可以通过在多投影器系统中的投影器的子组(即，少于
所有的投影器)产生合成图像。
如上所述，3-D偏振投影使用双互补偏振元件，该双互补偏振元件向偏振保持屏幕
发射、发送或反射由偏振光构成的图像。佩戴具有偏振透镜的特殊眼镜的观众然后
观看图像。
3-D偏振投影系统可以使用单个投影器或多个投影器。在图1A中示出基于偏振的
3-D图像显示系统100的一个实施例的图。图像显示系统100包括计算机处理器
102，其处理图像数据并且向投影器112发送图像数据，投影器112包括双互补偏
振元件并且向偏振保持屏幕106投影通常被指示在114的偏振图像。计算机处理器
102可以包括双头图形卡，该双头图形卡具有用于左眼图像和右眼图像的分离的信
道。图像可以包括任何画面、图形或文本字符、符号、图示或其他信息表示。显示
系统也可以包括校准相机122，校准相机122互连到计算机处理器102，以提供校
准的反馈，如下面更详细地讨论的。
当使用单个投影器112时，投影器被时间复用以向屏幕106交错地投影右眼视图和
左眼视图。在图1A中所示的示例表示线性偏振系统，但是应当理解，圆形偏振系
统也可以用于3-D基于偏振的投影。对于线性偏振，为了使用单个投影器来提供
立体运动画面，对于每一个帧，将两个图像通过不同角度的偏振滤光器(filter)顺序
地投影到屏幕上。偏振滤光器可以是正交偏振的(即，在相对于彼此的90度角被偏
振)或以某个其他较大的角度偏振的。
屏幕被特别构造为非消偏振的，以便保持偏振。屏幕也可以被配置来保持亮度，以
便补偿光损失(因为一只眼睛观看一个帧，而另一只眼睛看不到任何东西)。
为了观看图像，观众佩戴包含一对偏振滤光器110a、110b的低成本眼镜108。为
了说明性的目的，分别使用表示正交的偏振透镜的水平和垂直线来示出在图1A和
1B中所示的眼镜的透镜。即，右透镜110a是水平偏振的，而左透镜110b是垂直
偏振的。应当意识到，图1A和1B仅是说明性的。在实际实践中，偏振的各个角
度可以与水平和垂直不同。例如，在许多基于偏振的3-D系统中，每一个透镜的
偏振角被分别设置在45°和135°。因为每一个滤光器仅通过被类似地偏振的光并且
阻挡其他光，因此每只眼睛仅看到被类似地偏振的总的图像的一部分。即，向每只
眼睛的光被选择来向每只眼睛产生不同的图像，从而产生立体视觉并且给出所投影
的图像的立体感效应。有利地，这种手段可以使得几个人能够同时观看立体图像，
即使没有头的跟踪。
在图1A中，示出了正在投影水平偏振的子帧114a的投影系统100。因为其偏振，
这个图像将通过偏振眼镜108的右透镜110a，并且将被那些眼镜的左透镜110b阻
挡，因为那个透镜是垂直偏振的。然而，在图1B中，投影器112正在投影垂直偏
振的子帧114b，该垂直偏振的子帧114b将被具有对应的偏振的左透镜110b透射，
但是将被水平偏振的右透镜110a阻挡。以这种方式，观众的右眼和左眼将看到不
同的子帧，从而允许略微不同的视图被每只眼睛感知，以便提供3-D图像的显现。
可以以正常的视频刷新率的某个倍数交错地投影这些偏振的子帧。例如，当视频投
影系统的正常刷新率是每秒60帧时，单个投影器系统100可以被配置来以每秒
120子帧的速率投影单独的偏振的子帧，以向每只眼睛提供每秒60个全帧的等价
效果。本领域内的技术人员将认识到，也可以使用其他刷新率和子帧速率。
3-D偏振投影系统也可以使用多个投影器。在图2中示出多投影器3-D显示系统的
图。虽然该系统被示出为具有两个投影器，但是应当明白，也可以使用利用超过两
个投影器的多投影器系统。两个投影器的使用允许一个投影器投影右眼图像，而另
一个投影器在基本上重叠的位置中投影左眼图像。
图像显示系统200处理图像数据202，并且产生对应的偏振显示图像214。该图像
显示系统包括图像帧缓冲器204、子帧产生器208、投影器212A-212B(统称为投影
器212)、相机222和校准单元224。图像帧缓冲器204接收和缓冲图像数据202，
以建立图像帧206。子帧产生器208处理图像帧206以定义被不同地偏振的对应的
图像子帧210A-210B(统称为子帧210)。在一个实施例中，对于每一个图像帧206，
子帧产生器208产生用于投影器212A的一个子帧210A和用于投影器212B的一个
子帧210B，这些子帧分别对应于右眼图像和左眼图像。子帧210A-210B分别被投
影器212A-212B接收，并且分别被存储在图像帧缓冲器113A-113B(统称为图像帧
缓冲器113)中。投影器212A-212B分别将偏振的子帧210A-210B投影在屏幕216
上，以产生由用户观看的合成显示图像214。来自投影器212A的图像与被投影器
212B投影的图像不同地被偏振，使得观众的眼镜232的各个透镜230a、230b将不
同的图像传递到达每一只眼睛，从而在结果产生的图像中产生立体感效果。
图像帧缓冲器204包括存储器，用于存储用于一个或多个图像帧206的图像数据
202。因此，图像帧缓冲器204构成一个或多个图像帧206的数据库。图像帧缓冲
器113也包括用于存储子帧210的存储器。图像帧缓冲器204和113的示例包括非
易失性存储器(例如，硬盘驱动器或其他永久存储设备)，并且可以包括易失性存储
器(例如，随机存取存储器(RAM))。
子帧产生器208接收和处理图像帧206以定义多个图像子帧210。子帧产生器208
基于在图像帧206中的图像数据来产生子帧210。投影器212从子帧产生器208接
收图像子帧210，并且可以同时在目标表面216上投影图像子帧210。当使用两个
投影器时，可以以基本上重叠的关系来投影这些子帧，以同时提供总的图像214的
两个偏振的子帧，而不是在图1A、1B的实施例中那样的时间复用。然而，当使用
超过两个投影器时，选择的子帧也可能被投影到在空间上偏离的位置，以产生倾斜
或部分重叠的合成图像214。这可以允许通过使用来自多个投影器212的重叠的低
分辨率子帧210来提供更大或更宽图像或具有更高分辨率显示的显现的图像。
本领域内的技术人员将可以明白，可以以硬件、软件、固件或其任何组合来实现由
子帧产生器208执行的功能。该实现方式可以经由微处理器、可编程逻辑设备或状
态机。系统的部件可以以软件驻留在一个或多个计算机可读介质设备上。
也在图2中示出具有图像帧缓冲器220的参考投影器218。在图2中以隐藏线示出
参考投影器218，因为在一个实施例中，投影器218不是实际投影器，而是在用于
产生最佳子帧210的图像形成模型中使用的假设高分辨率参考投影器。在一个实施
例中，实际投影器212中的一个的位置可以被定义为参考投影器218的位置。显示
系统200也可以包括相机222和校准单元224，它们可以用于自动地确定在投影器
212和参考投影器218之间的几何映射。
图像显示系统200可以包括硬件、软件、固件或这些的组合。在一个实施例中，图
像显示系统200的一个或多个部件(例如，帧缓冲器204、子帧产生器208和校准单
元224)被包括在计算机、计算机服务器或能够执行逻辑操作的序列并且具有系统
存储器的其他基于微处理器的系统中。在本文中，这样的系统通常被称为用于多投
影器系统的“控制器”。另外，可以在例如在联网的或多个计算单元环境(例如，成
簇的计算机)中的系统上分布处理，单独的部分在分离的系统部件中实现。
如在图1中所示并且如上所述的单个投影器实施例，相机222耦合到校准单元224，
并且用于确定用于几何、颜色、亮度等的补偿参数，以允许多投影器系统形成无缝
图像。
如上所述，在3-D偏振投影中的一个重要挑战是在图像信道之间的串扰。即，意
图用于一只眼睛的图像的部分泄漏或渗透到另一只眼睛，因此降低图像质量。这种
串扰可以出现在单投影器或多投影器3-D系统中。在3-D偏振投影系统中的串扰
通常是由于偏振和选择过程中的缺陷而出现的。例如，串扰可以源自给定投影器的
偏振板，其可能未将投影光完全偏振到期望的角度。另外，被配置来保持偏振的投
影屏幕可能不如此良好地进行，并且，在观众佩戴来选择期望信号的眼镜中的偏振
滤光器也可能采集其他信号。在基于偏振的3-D投影系统中的串扰可以源自这些
和其他来源。
用于降低串扰的大多数手段已经聚焦在改进的硬件上，诸如更好的投影屏幕材料、
更好的偏振滤光器和更好的偏振眼镜。不幸的是，在硬件上的改进往往是昂贵的，
并且会需要大量时间来实现。
如本文中所公开的，已经开发出用于降低在基于偏振的3-D投影系统中的串扰的
非硬件方法。这种方法包含：在校准阶段期间经由相机或记录设备来观察在信道之
间的光泄漏。然后通过经由计算过程数字地校正对于左眼和右眼显示的图像来补偿
该泄漏。虽然本文中所示的实施例是基于偏振的系统，但是本文中公开的方法也可
以应用于其他串扰消除(cross-canceling)技术，诸如互补频谱手段(例如针对每只眼
睛使用红-绿色滤光器)。另外，虽然所示出和描述的实施例包括分别用于左眼和右
眼的两个信道，但是也可以将该方法扩展用于多于两个信道。
在图3中提供了用于概述在这种方法的一个实施例中的步骤的流程图。该方法具有
三个主要阶段：校准阶段302、计算阶段304和校正/渲染阶段306。校准阶段提供
了在计算阶段中计算机(例如，在图1中的计算机控制器102)要使用的数据。可以
由计算机控制器来执行计算和渲染阶段，该计算机控制器提供了具有处理器和系统
存储器的计算机系统。在每一个阶段中执行的步骤可以存储为在计算机的存储器中
存储的程序步骤。在校准阶段中，致力于左眼图像的显示元件(即，投影器)用于分
别针对每个信道投影校准图像(例如，偏振图像)(步骤308)。即，对于两信道系统，
左眼投影器首先投影用于左眼的图像，然后投影用于右眼的图像。然后，致力于右
眼图像的显示元件也用于投影用于每只眼的图像。当包含多个投影器时，对于每个
投影器重复这个过程。如在图3的流程图中所示，投影的图像可以是被用作用于多
投影器系统的训练过程的一部分的脉冲图像，例如在下文中概述：-
Venkata， and o，″A UnifiedParadigm for Scalable Multi-
Projector Displays″，IEEE Visualizationand Computer Graphics，Nov.-
Dec.2007(以下称为“Damera-Venkata、Chang和Dicarlo”。
如本领域内的技术人员将意识到的，可以将各种不同的校准模式用于在单投影器或
多投影器系统中的几何和色彩校准。然而，当涉及用于串扰的校准时，校准模式可
以是每种基色的平场(flat field)。即，对于红绿蓝(RGB)投影系统，则每个校准屏幕
可以是(假定)均匀强度的单基色的固体图像。使用在投影器上的偏振滤光器来顺序
地投影每个校准图像，而不像用于相机投影器系统的通常的几何或色彩校准那样。
当显示每一个图像时，相机(即，在图2中的校准相机222)使用双偏振滤光器来观
察投影的图像，以便模仿偏振眼镜的效果(步骤310)。可以通过下述方式来执行这
一点：首先，在相机上引入一个偏振滤光器并且拍摄图像，然后，使用另一个偏振
滤光器来重复该过程。在这个步骤中假定滤光器位于与佩戴偏振眼镜的观众将位于
的方向类似的方向(相对于屏幕)。这个步骤捕获串扰，因为从一个图像向另一个图
像的任何泄漏将会显示出来。例如，假定RGB投影系统，当投影针对左眼的红色
校准图像时，右眼在理论上应当看不到任何东西。然而，在存在泄漏的情况下，右
眼图像将会在某些视域中捕获一定水平的红光，并且也可能捕获其他光，诸如绿色
和蓝色。这反映了下述情况：除了空间泄漏之外，系统也可以显示频谱泄漏。相反
情况也成立：当投影针对右眼的红色校准图像时，任何泄漏将显示是由左眼捕获的
一定水平的红色以及也可能的蓝色和绿色光。如上所述，对于右/左眼图像和每一
个投影器的右/左眼接收的每一个组合重复拍摄这些图像的这个过程。
本领域内的技术人员可以认识到，可以与几何、亮度和色彩校准相结合地执行如上
所述的校准手段，特别是当使用多相机系统时。例如，在相机组的几何校准后，除
了用于检测串扰的投影校准模式之外，红、绿和蓝色基色的顺序投影也可以用于允
许色彩校准。然而，在多投影器系统中，通常在完成几何校准后执行本文公开的串
扰校准过程，使得来自每一个投影器的图像将在空间上以期望的方式定向。也可以
执行其他校准操作。也显然的是，当3-D显示系统不是基于偏振的系统时，捕获
投影的校准图像的步骤(步骤310)将包括：校准相机使用某个其他适当的滤光器(例
如，滤色器)而不是偏振滤光器来观察校准图像。
基于从步骤310捕获的图像，在计算阶段304中的第一步骤是：构造如果从投影器
投影给定图像则眼睛将会看到的内容的模拟图像或模型(步骤312)。这种模型是被
投影的实际图像的数值模型。换句话说，计算机系统分析由校准相机捕获的图像，
并且构造该图像的数值模型。该数值模型表示与实际捕获的图像对应的数据流。如
果y用于表示在坐标(m，n)处的给定像素的颜色值，并且l表示该像素的亮度值，
则可以通过下面的表达式来表示模拟图像的构造：
Clyl(m，n)ll(m，
n)+Crlyr(m，n)lrl(m，n)＝xl(m，
n) [1]
Cryr(m，n)lr(m，
n)+Clryl(m，n)llr(m，n)＝xr(m，
n) [2]
在这些表达式中，下标l和r分别表示左右图像。观看等式[1]的第一项，
Cl表示用于左眼的单位矩阵，yl表示在坐标(m，n)处的意
图对于左眼投影的像素值(即，颜色)，并且ll表示该像素的亮度。在
等式[2]中提供了类似的第一项，除了它适用于右眼。每一个等式的第二项引入的
串扰的效果。项Crl和Clr表示在两个信道之间的频谱串
扰。项lrl和llr表示在两个信道之间的空间串扰。在等式
[1]和[2]的左侧的这些表达式表示每只眼睛的模拟图像，并且被表示为
xl和xr。
然后，将由等式[1]和[2]的左侧上的项表示的“模拟”图像与期望的理论上无串扰图
像作比较(步骤312)。具体地说，用于表示没有串扰的期望图像的数学表达式被代
入等式[1]和[2]的右侧以取代xl和xr。期望的无串扰图像
是由计算机控制器确定的理论图像，并且表示如果没有串扰则相机应当捕获的图像
的数值模型。换句话说，理论图像是已经被变换为将产生没有串扰的理想投影系统
的期望相机视图的图像数据流。当使用多个投影器时，该图像表示来自每一个投影
器的一致可行理想图像。例如，因为在给定的多投影器系统中的不同投影器可以每
一个具有不同的色域，所以理论图像将考虑这一点，并且将每种颜色表示为所有投
影器的交叉域的分量，使得理论图像对于所有投影器可行。为了本公开的目的，假
定控制器系统已经被编程为“知道”这些共性的各个方面。当计算理论图像时，可以
考虑在投影器之间的其他共性方面。
下一个步骤是求解串扰参数或在等式[1]和[2]中的因子C和l。这个步骤包括：将用
于表示模拟图像和理论图像的表达式设置得彼此相等，然后求解变量C和l。这是
步骤314。因为已知针对校准图像的像素值y，所以可以使用等式[1]和[2]来直接地
获得C和l的值。C和l的值表示给定投影器的特性，并且不与图像相关，而y的
值是图像相关的。然而，对于包括单色的平场的校准图像，y值将是已知的，允许
对于等式[1]和[2]直接地求解给定投影器的C和l。C和l的这些值可以被存储在计
算机存储器中。
在确定了串扰因子(C和l的值)的情况下，下一步骤是接收新的图像数据(步骤316)，
并且求解在等式[1]和[2]中的像素值y(步骤318)。该新的图像数据可以是例如用于
表示脉冲或训练图像的数据或用于表示某个其他图像的数据。用于表示新的图像数
据的数学表达式以与如上所述的代入理论图像的方式类似的方式来被代入等式[1]
和[2]，然后，对于等式求解像素值y。
虽然上文相对于等式[1]和[2]描述的示例性实施例涉及两信道(左和右)系统，但是本
文公开的方法也可以被扩展来支持多于两个信道。即，可以以类似的方式来补偿在
多于两个投影信道之间的串扰。当涉及多于两个信道时，可以扩展相关的等式。例
如，当涉及三个信道时，将使用与以上的等式[1]和[2]类似的三个等式的组，但是，
三个等式中的每一个将包括另外的项，以考虑另外的串扰路径。
在图3中概述的实施例中，如重复块320所示，可以对于在训练过程中的多个脉冲
图像多次重复下述过程：接收每一个投影器的脉冲图像，然后计算用于校正该图像
的像素值。这种类型的训练过程是本领域内的技术人员已知的，并且在Damera-
Venkata、Chang和Dicarlo中和下文中被提供：-Venkata and ，
“Realizing Super-resolution WithSuperimposed Projection”，
International Workshop onProjector-Camera Systems(ProCams)，
Minneapolis，MN，June 2007(以下称为“Damera-Venkata和Chang”)。
通过对于一系列脉冲图像执行这个训练过程，可以获得校正的y值的若干集合。这
些校正的像素值可以被一起用于产生可以用于在渲染阶段306中的任何随后的图像
的一组线性运行时间滤光器系数(步骤322)。即，一旦在步骤318中已经校正了脉
冲图像，则该系统可以确定一系列线性系数(步骤322)，通过该一系列线性系数，
可以在投影之前实时地变换所有随后的图像的数据流(步骤324)。这些系数允许随
后的图像的迅速校正以减少串扰，使得每一个随后的图像帧比未校正时更接近理论
上无串扰图像。
本文所述的过程是图像依赖的。即，给定的图像帧的校正(不论是校准模式或其他
图像)是唯一的。因此，在步骤318中获得的计算解对于在步骤316中使用的每一
个图像不同。然而，通过多次重复训练过程，如在步骤320中所示，可以在滤光器
中封装各种数学迭代的误差项，以获得运行时间滤光器系数，使得可以使用相同的
一组滤光器来计算任何输入的输出，以允许更快的实时渲染。因此，如上所述的训
练方法提供大大减少随后的图像的串扰的运行时间滤光器系数，虽然在一些图像中
仍然可能出现少量的串扰。虽然这种手段不必然产生对于每一个图像帧的完美校准，
但是它提供了每一个图像帧的近似解，以大大地减少在移动视频图像中的串扰。
替代地，在另一个实施例中，该系统可以实时地对于视频流中的每一个图像帧执行
连续的串扰校正。在图4中提供了概述在这个实施例中的步骤的流程图。类似于在
图3中给出的过程，这个过程包括校准阶段402、计算阶段404和渲染阶段406。
类似于在先前的实施例中，在校准阶段中，首先通过用于每只眼睛的每一个投影器
来投影偏振的校准图像(步骤408)。在步骤410中，如在步骤310中一样，首先对
于一只眼，然后对于另一只眼执行以下操作：通过具有偏振滤光器的校准相机来观
看图像。
计算模拟图像(步骤412)、使模拟图像与理论图像等同(步骤414)以及求解串扰因子
“C”和“l”(步骤416)的过程也与在图3的实施例中的可比较步骤相同。然而，不是
使用脉冲图像来产生运行时间滤光器系数，而是在步骤416中确定的串扰因子“C”
和“l”被直接地应用到在步骤418中接收的新的图像数据。具体地说，在步骤418
中接收用于表示新的图像帧的数据。使新的图像数据与其中具有“C”和“l”的值的等
式[1]和[2]的表达式等同。这允许系统求解该特定图像的像素值y(步骤420)。
不是使用这些值来创建运行时间滤光器系数，而是直接地校正在步骤418中接收的
图像数据，并且使用校正的像素值来投影该特定图像(步骤422)。应当明白，等式
[1]和[2]是线性的。然而，将y的值限制为在0和1之间，因为像素不能具有负值
或大于1的值。在这种限制的情况下，这些等式变为非线性的，但是可以使用诸如
梯度下降处理的迭代计算处理来求解这些等式。查看上面的等式[1]，计算机系统
被编程来进行yl和yr值的初始估计或猜测，然后找到误
差项，调整yl和yr值，并且重复该过程直到在施加误差
项的情况下模拟图像和新的图像数据集相等。这个过程最后提供了用于新的图像数
据的串扰校正。梯度下降处理是非线性的。因此，梯度下降计算最后得出特定图像
的单个解，该特定图像将针对串扰被校正。在如上引用的Damera-Venkata、Chang
和Dicarlo以及Damera-Venkata和Chang的参考文献中概述了用于迭代地求解多个
像素值的这种类型的处理。应当理解，除了梯度下降方法之外，也可以使用用于求
解这些线性等式的其他方法。
投影校正的图像(步骤422)，并且，然后可以对于下一个图像帧重复这个过程(步骤
424)，返回到步骤418。以这种方式，视频流的每一个帧可以接收唯一校准。对于
视频流的每一个图像帧实时地执行这些校准计算提供了较高质量的图像，虽然它会
使得投影系统的速度降低。换句话说，在图4中概述的过程比在图3中概述的过程
提供更高质量的图像，但是需要更多的计算机处理。因此，对于不要求全运动视频
的静止图像或应用，可以使用图4的过程来提供比在图3中概述的方法更高质量的
图像。尽管如此，在具有足够的微处理器能力的情况下，也可以使得在图4中概述
的过程以适合于移动视频的速度来接收和校正视频图像。
本文中公开的方法提供了对于3-D串扰的计算解决方案，而不是硬件手段。在计
算上补偿串扰允许使用低成本部件，并且可以甚至在高质量内容的情况下改善质量。
通过这种补偿，图像变得更锐利，因为由于串扰导致的模糊被大大地减少。如上所
述，也应当明白，本文中公开的方法也能够适用于其他串扰消除技术，诸如互补频
谱手段，并且该方法也可以通过扩展相关等式而被扩展来支持多于两个信道。
应当理解，上述的布置是本文中公开的原理的说明性应用。对于本领域内的普通技
术人员显而易见的是，可以在不偏离在权利要求中阐述的本公开的原理和概念的情
况下进行多种修改。