2024年4月22日发(作者：才坚壁)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.6
(22)申请日 2011.12.05
(71)申请人 3形状股份有限公司
地址 丹麦哥本哈根
(72)发明人 卡尔-约瑟夫·霍伦贝克 亨里克·奥杰伦德 D·费舍尔
(74)专利代理机构 北京派特恩知识产权代理事务所(普通合伙)
代理人 武晨燕
(51)
G01B11/24
A61C13/00
(10)申请公布号 CN 103339468 A
(43)申请公布日 2013.10.02
权利要求说明书 说明书 幅图
(54)发明名称
具有3D用户界面集成的系统
(57)摘要
本发明公开了一种包括手持设备
（100）和至少一个显示器（101）的系
统，其中该手持设备（100）适于执行至少
一种物理3D环境中的动作。这些动作包
括测量，修正，操作，记录，触摸，感
测，扫描，移动，变换，切割，焊接，化
学处理，清除。显示器（101）适于可视化
表示物理3D环境，并且其中手持设备
（100）适于远程控制其中3D环境表示在
显示器（101）上的视图。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种系统，包括手持设备和至少一个显示器，其中该手持设备适
-在物理3D环境中执行至少一个动作，其中该至少一个显示器适于可
-远程控制该视图，其中该3D环境采用该视图表示在该显示器上。
2.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持
3.根据前述权利要求的任何一个或多个权利要求的系统，其中用于在
4.根据权利要求3的系统，其中用于手动切换的装置是致动器，例如
5.根据前述权利要求的任何一个或多个权利要求的系统，其中该视图
限定为视觉角度和/或视觉位置。
按钮、开关或接触器。
执行该至少一个动作和远程控制该视图之间手动切换的装置提供该手持
设备上。
设备适于记录该3D环境的3D结构。
视化表示该物理3D环境，以及
于在以下操作之间切换：
6.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持
7.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持
8.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少
-测量，
-记录，
-扫描，
-操作，和/或
-修正。
9.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
一个动作包括下列中的一个或多个：
设备适于改变3D环境在显示器上的显示。
设备适于远程控制放大，其中该3D环境采用该放大表示在该显示器上。
环境包括一个或多个3D物体。
10.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
11.根据前述权利要求的任何一个或多个权利要求的系统，其中该显
12.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
13.根据前述权利要求的任何一个或多个权利要求的系统，其中在该
14.根据前述权利要求的任何一个或多个权利要求的系统，其中表示
在该至少一个显示器中的放大至少部分由该至少一个运动传感器来确定。
至少一个显示器中表示的3D环境的视图至少部分由该至少一个运动传感
器来确定。
持设备包括至少一个运动传感器。
示器适于从多个视图中表示该3D环境。
持设备适于由操作者保持在一只手中。
15.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
16.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
17.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
18.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
19.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
20.根据前述权利要求的任何一个或多个权利要求的系统，其中该用
户界面功能包括手势的使用。
持设备包括提供传感器联合的至少两个运动传感器。
少一个用户界面元件是至少一个运动传感器。
持设备包括至少一个用户界面元件。
环境的3D结构是现有技术公知的。
持设备适于记录该3D环境的3D结构。
21.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
22.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
23.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
24.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
25.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
26.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
持设备适于改变视觉角度，其中该3D环境采用该视觉角度表示在该至少
一个显示器上。
少一个其他的用户界面元件是滚轮。
少一个其他的用户界面元件是按钮。
少一个其他的用户界面元件是触敏式元件。
持设备包括除该至少一个运动传感器之外的至少一个用户界面元件。
势由该至少一个运动传感器检测。
27.根据前述权利要求的任何一个权利要求的系统，其中该手持设备
28.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
29.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
30.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
31.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
少一个显示器分成多个区域，每个区域采用不同的视图来示出3D环境。
环境的视图包括文本和/或阴影的显示。
环境的视图包括视觉角度、放大因子和/或视觉位置。
持设备适于改变视觉位置，其中该3D环境采用该视觉位置来表示在该至
少一个显示器上。
适于改变放大因子，其中该3D环境采用该放大因子表示在该至少一个显
示器上。
32.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
33.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
34.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
35.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
36.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
37.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
持设备是耳内3D扫描仪。
持设备是机械工具。
持设备是外科手术仪器。
持设备是口腔内3D扫描仪。
结构包括该环境的3D立体表示。
结构包括该环境的3D表面。
38.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
39.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
40.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
41.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
42.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
43.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
二显示器显示该手持设备相对于该3D环境在哪定位。
二显示器设置在手持设备这样的位置上：使得显示器适于在操作者正在操
作该手持设备的同时由操作者观察。
二显示器设置在该手持设备上。
少一个显示器限定成第一显示器，并且其中该系统还包括第二显示器。
少一个显示器设置在手推车上。
少一个显示器设置成与该手持设备分开。
44.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
45.根据前述权利要求的任何一个或多个权利要求的系统，其中在除
46.根据前述权利要求的任何一个或多个权利要求的系统，其中将给
47.根据前述权利要求的任何一个或多个权利要求的系统，其中扫描
48.根据前述权利要求的任何一个或多个权利要求的系统，其中将图
形指示器设置在显示器上，用于在该手持设备用于远程控制视图时表示该
手持设备的运动，其中3D环境使用该视图表示在显示器上。
通过LED扫描、激光扫描、白光扫描、X射线扫描、和/或CT扫描来执行。
操作者的音频信息提供给操作者。
第一显示器之外的一个或多个装置上将视觉信息提供给操作者。
一显示器和/或第二显示器为操作者提供指令。
49.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
持设备是口腔内3D扫描仪，并且在物理3D环境中执行的该至少一个动作
是扫描，其中该视图通过设置在该手持设备中的至少一个运动传感器
程控制，并且其中设置在该手持设备上的致动器在执行该至少
远程控制该视图之间切换。
来远
一个动作和
50.一种在手持设备和至少一个显示器之间交互的方法，其中该方法
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过该至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制所表示的3D环境在显示器上的视图。
51.一种计算机程序产品，包括程序代码装置，该装置用于当所述程序
52.根据前述权利要求的计算机程序产品，包括已经存储在程序代码装
置上的计算机可读取媒介。
包括以下步骤：
代码装置在数据处理系统上执行时，使得数据处理系统执行权利要求44
的方法。
说 明 书
技术领域
本发明总体上涉及包括手持设备和至少一个显示器的方法和系统。
背景技术
3D可视化在许多工业和医疗领域非常重要，其中3D信息变得越来越
显示和检查3D信息本质上是非常困难的。为了在屏幕上完全理解3D
各种用户交互设备用于显示3D数据的软件，这些设备是：3D鼠标、
物理接触用户交互设备在医疗应用中或是在肮脏环境的工业应用中
点，其中，在医疗应用中，由于在病人之间或者病人和手术者之间
叉感染的危险。
在医疗应用中用于3D数据视图的几种非接触用户界面已经在著作中
描述。Vogt等人（2004）描述了一种3D医学成像数据的现场可视
接触式交互系统。该用户界面基于反射标记物的跟踪，其中照相机
医师头部。Graetzel等人（2004）描述了一种非接触式系统，其将
进行了
化的非
安装在
手势解
存在缺
存在交
空间球和触摸屏。当前这些交互设备的操作要求物理接触它们。
物体或全部环境，用户通常应该能旋转该物体或场景，这样许多或者优选
地所有的表面都被显示。这甚至对3D显示（例如，立体式或全息式）来
说是真实的，其中从给定的视角位置并采用给定的视角角度，用户将仅仅
看见任意3D环境的某些表面。通常，用户也非常想放大成细节或者缩小
以概览。
占主导地位。
释为鼠标动作。其基于立体视图并且旨在在微创外科手术中使用。
仍然存在改进这样系统的问题，该系统要求用于视图控制的用户界
如可用于临床目的。
发明内容
所公开的系统包括手持设备和至少一个显示器，其中该手持设备适于
该系统可适于在执行物理3D环境中的至少一个动作和远程控制3D环
这里所公开的系统执行将3D用户界面功能与任何其他手持设备以及
作功能进行集成，这样操作者理想地仅触摸该将要进行触摸的后面
这种手持设备的一种特定实施例是记录某些3D结构的一种，例
3D扫描仪。
该手持设备是多功能设备，诸如双功能或者两用设备，即既能执行物
结构上，视图由实际观察者/照相机相对于该3D环境或其可视化表示
置和方位来确定。如果该显示器是二维的，该视图也由投影类型来
视图还可由放大因子来确定。
境表示在该显示器上的视图之间进行切换。
面，例
执行物理3D环境中的至少一个动作，其中该至少一个显示器适于可视化
表示该物理3D环境，并且其中该手持设备适于远程控制所述3D环境表示
在该显示器上的视图。
其他操
的设备。
如手持
理3D环境中的动作（例如测量和操作）又能远程控制该3D环境在显示器
上的视图的设备。
物的位
确定。
实际观察者和3D环境的位置和方位通常彼此相关。根据用户在具有
入设备的软件系统中的经历，用户可感受，例如，他/她在他/她本身
止的同时移动该3D环境，但是通常是实际观察者/照相机在显示器
了同样结果的等效移动。通常，3D软件系统的描述采用了术语“平
（pan）”来表示3D环境的明显的平移运动，“旋转”来表示3D环境的
图表上，视图可通过照片或者例如计算机图表之类的某种可视化表示
旋转运动，“缩放”来表示放大因子的变化。
3D输
保持静
上给出
移
物或类似物来表示3D环境。计算机图表可例如以文本和/或阴影和/或实际
光源和/或用于表面特性的光模型来显示。计算
化表示，例如网格、轮廓或其他简化表示。所有
某些透明度来显示。视图可以其整体或仅仅是部
机图表还可是3D环境的简
或部分3D环境还可采用
分来表示该3D环境。
所有的这些非接触式现有技术系统仅仅是3D用户界面设备。在许多
术的应用中，采用这种用户界面设备的操作者还将持有另一设备并
另一设备工作，该设备真正是整个应用（例如医疗仪器）的核心设
因此本系统的优点是该3D用户界面功能集成在核心设备中，用于执
动作。
在某些实施例中，该手持设备适于远程控制该放大，其中3D环境采
大表示在显示器上。
在某些实施例中，该手持设备适于在显示器上改变该3D环境的显示。
在某些实施例中，该视图限定为视觉角度和/或视觉位置。
现有技
且采用
备。
行某种
用该放
在某些实施例中，该至少一个动作包括下列动作中的一个或多个：
-测量；
-记录；
-扫描；
-操作；
-修正。
在某些实施例中，该3D环境包括一个或多个3D物体。
在某些实施例中，该手持设备适于由操作者保持在一只手中。
在某些实施例中，该显示器适于从多个视图表示该3D环境。
在某些实施例中，该显示器适于从不同的视觉角度和/或视觉位置表示
在某些实施例中，3D环境在至少一个显示器中的视图至少部分由保持
在某些实施例中，表示在至少一个显示器中的放大至少部分由保持所
在某些实施例中，该手持设备适于记录该3D环境的3D结构。
述设备的操作者的手的运动来确定。
所述设备的操作者的手的运动来确定。
该3D环境。
因此，该手持设备可以是口腔牙科扫描仪，其记录病人牙齿的3D结
作者可沿着病人的牙齿移动该扫描仪，用于捕获相关牙齿，例如全
的3D结构。该扫描仪可包括运动传感器，用于在产生所扫描的牙
3D模型的同时考虑扫描仪的移动。
牙齿的3D模型可在显示器上示出，显示器例如可以是PC屏幕等等。
用户界面功能可包括将运动传感器组合到扫描仪中，这样用户可通过
在某些实施例中，该手持设备包括至少一个用户界面元件。用户界面
该手持设备还可设置有致动器，其使得该手持设备在执行至少一个动
这种致动器可以例如是以按钮、开关或触头的形式。在其他实施例中，
在另一实施例中，致动器可以是设置在手持设备中的运动传感器，在
其注册运动的特定类型时，例如，如果操作者摇晃该手持设备时，其可用
作致动器。这种运动传感器的实施例将在本文中相对用户界面元件进行描
其可以是触敏式表面或者元件。
作和远程控制该视图之间进行切换。通过提供这种手动切换功能，操作者
容易控制要执行的那些，其中该手动切换功能使得操作者在执行该至少一
个动作和远程控制该视图之间切换。
元件是其中用户可进行操作以便启动该软件用户界面上的功能的元件。典
型地，该用户界面是图表式呈现在系统的显示器上。
移动该扫描仪来在屏幕上确定该视图。向下指该扫描仪可以给定的向下视
角来示出所扫描的牙齿。在水平位置保持该扫描仪可使得视角同样也是水
平的。
构。操
部牙齿
齿的
述，然而，本领域技术人员根据本文中公开的内容知道，这种运动传感器
也可用作如上所述的致动器。
例如，在一个实施例中，该手持设备可以是牙科医生使用的口腔3D
该扫描仪设定为当致动器位于一个位置时执行扫描牙齿区域的动
扫描仪。
作。当致动器切换到第二位置时，该手持设备设定为控制该视
环境采用该视图显示在显示器上。这可能是例如当牙科医生扫
部分或全部预定区域时，他可启动该致动器，然后使得该牙科
用该手持设备来远程控制所扫描的区域在显示器上的3D显示
图，其中3D
描完牙弓的
医生通过采
视图。
例如，该致动器可以是按钮。当快速按压按钮时，该手持设备准备扫
在执行扫描的同时，可视化3D显示可视化地构建在该显示器上。
用户现在可按压并保持该按钮。这将使得手持设备进入到控制器模
中该手持设备适于远程控制视图，其中采用该视图，诸如所扫描的
类的3D环境显示在显示器上。在保持按钮按压的同时，该系统将
自手持设备中的运动传感器的信号来确定如何去显示实际3D环境
因此，如果用户转向或者另外移动保持该手持设备的手，那么实
环境在显示器上的视图因此将改变。
因此，牙科医生可采用相同的手持设备，用于同时扫描区域并且随后
识别扫描已经正确执行，而不必从病人处移开或者触摸除已经呈现在他手
中的之外的任何其他设备。
式，其
牙齿之
使用来
的视图。
际3D
描，即，其设定为在物理3D环境中执行至少一个动作，扫描程序。当第
二次快速按压该按钮时，停止扫描。
在一个实施例中，该用户界面元件与致动器相同，或者当有几个用户
该系统可配有按钮，作为提供用户界面功能的附加元件。
在一个实施例中，该手持设备是手持口腔扫描仪，并且该显示器是计
在某些实施例中，至少一个用户界面元件是至少一个运动传感器。
因此，将用户界面功能在设备中的集成可以由运动传感器来设置，其
可以是扫描仪内的加速计，其读取决定了由扫描仪获得的牙齿的3D模型
在屏幕上的显示方位。其他的功能，例如，启动/停止扫描，可由按钮来提
供。该按钮可以位于操作者或用户的食指可以方
算机屏幕。操作者或用户可以是牙科医生、助手和/或其他。该设备的操作
功能可以记录某些口腔的3D结构，该用户界面功能可以是在计算机屏幕
上旋转、摇动和缩放被扫描的数据。
界面元件时，其中的至少一个也用作致动器。
便到达的地方。
现有技术中的口腔扫描仪采用触摸屏，轨迹球或者鼠标来确定显示器
操作者或者用户，例如，牙科医生，可以使用一只手或者双手来在扫
描的同时保持该口腔扫描仪，并且该扫描仪可以足够轻和舒适，以便在扫
描的同时可以仅仅采用一只手来保持足够长的时间。
中的视图。这些现有技术的用户界面设备可以是不方便使用的、不合适使
用的或者难以使用的，并且它们可以是劳动密集型的，因此需要花费成本
进行杀菌或消毒。口腔扫描仪通常应该在扫描不同的病人之间进行消毒，
这是因为扫描仪要进入到将要被扫描的病人的口腔或其他部分内，或者与
口腔或其他部分接触。
该设备也可采用一只手或者两只手来保持，同时采用该设备作为例如
该系统的好处在于其可以在3D环境中进行重复过程，而不用在所述
释放该手持设备。对于上述的口腔扫描系统的实例，操作者（例如
生）可以采用成为口腔扫描仪的手持设备记录某些牙齿表面的结
过程中
牙科医
构，检
转）在
覆盖面
续记录
可重复
不必将
改变显示器中视图的远程控制。无接触式用户界面功能的好处在于：在医
疗情形下，操作者可以保持双手洁净、消毒或者甚至无菌的状态。
查通过采用相同的手持设备记录的表面覆盖面，以便移动（例如旋
诸如计算机屏幕之类的显示器上被记录的表面，检测所扫描的牙齿
中可能的缝隙或孔洞，然后例如将扫描仪安排在缝隙所在的并且继
那儿的牙齿表面几何结构的区域中。在这全部的重复环节之上，其
超过一次，诸如与得到牙齿预定扫描覆盖面所需的多次，牙科医生
该手持口腔扫描放置在他或她的手之外。
在某些实施例中，3D用户界面功能拓展到除操作功能之外的单个位置
上述的口腔扫描系统是实施例的一个实例。操作功能或者执行动作的
中。对于上述的口腔扫描系统实例，该扫描操作在病人的口腔内执行，而
当该扫描仪位于病人口腔之外时该用户界面功能更灵活地扩展。再一次，
该系统主要的特性和优点在于牙科医生可以拓展为扫描仪的双重以及集
成功能（即操作和用户界面）而不用将其放置在他或她的手之外。
其他实例可以是钻孔、焊接、研磨、切割、钎焊、摄影、
行某些外科手术过程等等。 拍摄、测量、执
系统的显示器可以是2D计算机屏幕，投射立体图像对的3D显示器，
产生3D效果的立体显示器（诸如扫描体显示器）静态体显示器，视差屏
障显示器，全息显示器等等。即使采用3D显示器，操作者相对于同一时
刻的3D环境仅仅具有一个视觉位置和视觉角度。操作者可移动他/她的头
部来假定另一物理视觉位置和/或视觉角度，但是通常来说，可以更方便使
用具有其内置用户界面功能的手持设备（例如远程控制）来改变展示在显
示器中的视觉位置和/或视觉角度。
在某些实施例中，该系统包括多个显示器，或者分成多个区域的一个
在某些实施例中，用户界面功能包括使用手势。
例如由操作者形成的手势可以用于改变、转移或者在子窗口之间切换，
在某些实施例中，手势适用于由至少一个运动传感器来检测。手势可
操作者不必一直监测系统的该至少一个显示器。在许多应用中，操作
在某些实施例中，至少一个显示器设置成与该手持设备分开。
者将采用该手持设备在观察和可能的操作该显示器以及执行另一操作之
间转换。因此其好处在于操作者不必接触其他用户界面设备。然而，在某
些情形中，操作者不可能全部避免接触其他设备，并且，在这些情况下，
其好处是与其中手持设备根本不提供任何用户界面功能的系统相比，要求
进行较少的接触。
由范围传感器或记录身体运动的其他传感器来交替和/或另外检测。
并且该用户界面功能可以限制为有效的子窗口或者几个显示器中的一个。
或多个显示器。例如，在PC屏幕上的几个子窗口可以表示3D环境的不同
视图。该手持设备可以用于改变其全部的视图，或者仅仅改变其部分的视
图。
在某些实施例中，至少一个显示器定义成第一显示器，并且其中该系
在某些实施例中，该第二显示器设置在该手持设备上。
在某些实施例中，该第二显示器设置在该手持设备上使得在操作者操
在某些实施例中，该第二显示器显示出该手持设备相对于该3D环境
位的地方。
在某些实施例中，该第一显示器和/或第二显示器为操作者提供了指
该显示器可以多种方式设置。例如，它们可以安装在墙壁上，设置在
在某些实施例中，至少一个显示器安装在设备本身上。其好处在于：
在某些实施例中，在除第一显示器之外的一个或多个装置上提供视觉
在某些实施例中，将给操作者的音频信息提供给操作者。
信息给操作者。
采用这种设置可以使得在设备本身上具有显示器，操作者的眼睛不必交替
在不同的距离之间聚焦。在某些情况下，操作功能要求在操作的设备以及
3D环境的附近来近距离地观察，这样可以远离操作者的手尽量远的距离来
进行观察。尤其是在诸如牙科诊所、手术室、或者工业工作间之类的嘈杂
环境中，难以放置离该设备较近的外部显示器。
某种看台或者手推车（cart）上，设置在架子上或者桌子上，或者其他。
令。
进行定
作该手持设备的同时该显示器适于被操作者观察的位置中。
统还包括第二显示器。
因而在某些实施例中，该系统提供了另外的信息给操作者。在某些实
提供给该操作者的所述信息可以包括用于使用的指令、警告等等。
该信息有助于改进该设备的动作执行或操作功能，例如通过显示将要
在某些实施例中，某些3D用户界面功能由嵌入于该设备中的至少一
传感器来提供。运动传感器的实例是加速计，陀螺仪，以及磁强计
这些传感器可以感测旋转、横向运动和/或其组合。其他运动传感器
外感测。例如，至少一个红外传感器可安装在该设备上，至少一个
射器可安装在该设备的周围。相反，该至少一个发射器可安装在该
该至少一个传感器安装在周围。另一种可能性是在该设备上使用
个运动
等等。
使用红
红外发
设备上，
红外反
可通过
执行的动作或操作如何，和/或有助于改进动作或操作容易性和/或动作或
操作结果质量的指令。例如，LED可以改变色彩和/或闪烁频率。在一个扫
描仪中，信息可涉及所扫描的3D环境如何好地聚焦和/或扫描质量和/或扫
描覆盖面。该信息可包括如何最好地定位该扫描仪的指令，例如获得好的
扫描质量和/或扫描覆盖面。该指令可用于计划和/或执行托架定位。该指
令可以是给操作者的消息系统的形式。
施例中，该系统包括在除显示器之外的其他装置上显示的其他视觉线索，
该其他装置例如该设备上的LED。在某些实施例中，该系统提供音频信息
给操作者，该音频信息例如通过不同的声音和/或通过语音。
射器以及在其周围使用传感器和发射器，或者再次相反。因此运动
各种原理来感测。
通过恰当的信号处理，某些传感器可重新识别其他的操作者的动作；
例如诸如轻敲、挥手或者摇动该手持设备之类的手势。因此，这些手势还
可扩展到3D用户界面功能中。
在某些实施例中，该手持设备包括提供传感器联合的至少两个运动传
在某些实施例中，该手持设备包括除至少一个运动传感器之外的至少
在某些实施例中，该至少一个其他用户界面元件是触敏式元件。
在某些实施例中，该至少一个其他用户界面元件是按钮。
在某些实施例中，该至少一个其他用户界面元件是滚轮。
在某些实施例中，用户界面功能通过设备上其他的元件来提供。因而
该其他用户界面元件可扩展或使用在对于设备的应用场合来说合适的
该
工作流中。该工作流可以某些用户软件应用来实现，其中该用户软件应用
也可控制该显示器并且因此控制表示在其上的视图。给定的界面元件可提
供多个用户输入给软件。例如，按钮既可提供单击，也可提供双击。例如，
双击可意味着在工作流中优先进行连续的步骤。对于口腔扫描的实例，
工作流中的三个步骤可用于扫描口腔下部、
区可在多个方向上提供敲击，每个方向具
面元件提供多个用户输入是有益的，这是
件仅仅提供一个用户输入的情形可以减小
这些其他的元件例如是按钮、滚轮、触敏式场区、近距离传感器等等。
一个用户界面元件。
感器。传感器联合可用于从例如原始陀螺仪、加速计和/或磁强计数据获得
更好的运动信号。传感器联合可以诸如Inven Sense MPU300之类的IC来
实现。
口腔上部以及咬合。触敏式场
有不同的效果，等等。从用户界
因为相对于其中每个用户界面元
设备上用户界面元件的数量。
该运动传感器还可扩展到工作流中。例如，举起该设备，其可通过加
速计进行感测，可表示某种类型的用户输入，例如启动某些动作。在其是
扫描仪的设备中，其可以启动扫描。相反，将设备放置在某种支撑器之后，
由于某个时间段上没有加速出现因而可通过加速计感测到，可停止所
述动 作。
如果由该设备执行的动作是某种记录，例如扫描，例如3D扫描，那
的结果也可以扩展为用户输入，可能与来自其他用户界面元件的用
一起。例如，采用具有有限场区深度的3D扫描仪，通过检测任何
是否被记录而可以检测出是否3D环境中的任何物体表示在与该场区
应的体积中。用户输入可取决于这种检测的出现。例如，口腔扫描
按钮点击可提供不同的用户输入，该用户输入取决于扫描仪是否在
其中可检测到牙齿，或者明显检测出牙齿远离口腔或者位于口腔
同样，运动传感器信号的效果可对于每个情况进行不同的解释。例
描仪当其位于口腔之外时，可仅改变表示在该显示器上的视图。
在某些实施例中，该手持设备适于改变该视觉角度，其中3D环境采
觉角度表示在该至少一个显示器上。
在某些实施例中，该手持设备适于改变放大因子，其中该3D环境可
放大因子表示在该至少一个显示器上。
在某些实施例中，该手持设备适于改变视觉位置，其中该3D环境可
视觉位置表示在该至少一个显示器上。
在某些实施例中，该3D环境的视图包括视觉角度、放大因子和/或视
么记录
户输入
3D点
深度对
仪上的
口腔内，
外部。
如，扫
用该视
采用该
采用该
觉位置。
在某些实施例中，该3D环境的视图包括以文本和/或阴影的显示。
在某些实施例中，该至少一个显示器分成多个区域，每个区域以不同
因而，在某些实施例中，该用户界面功能包括改变视图，其中3D环
该视图显示。视图中的变化可包括视觉角度、视觉位置、放大因子
变化。视角的变化可以自然地通过旋转该设备来影响。旋转自然地
陀螺仪和/或相对于由加速计感测的重力来感测。缩放，即，放大的
可例如分别通过向前和向后推动该手持设备来实现。视图位置的平
例如淘选，可例如通过向上/向下和/或侧向推动手持设备来实现。
在某些实施例中，该用户界面功能包括挑选或选择显示器上的项或由
在某些实施例中，该用户界面功能包括操作显示在屏幕上的3D环境。
在某些实施例中，该手持设备是口腔扫描仪和/或耳内扫描仪。如果扫
的视图显示该3D环境。
境采用
等等的
借助于
改变，
移变化，
本领域公知的计算机中的图形用户界面提供的任何其他功能。操作者可执
行挑选。3M ESPE出售的Lava C.O.S扫描仪已经在该手持设备上具有了
其他的按钮，但是它不可以通过这些按钮来操作视图。它们仅有的目的是
通过菜单系统进行导航，并且启动/停止扫描。
例如，操作者可以影响3D环境中物体的变形或者改变物体的位置或方位。
因此，在某些实施例中，该用户界面功能包括虚拟用户界面功能，其可以
是3D数据被操作，但是其中设备操作的物理3D环境并不被操作。
描仪包括尖端，该尖端可以互换，借此，扫描仪可以变为适合在口内扫描
或者在耳内扫描。由于耳朵的腔比口腔小，因此安装到耳朵中的尖端小于
安装在口腔内的尖端。
在某些实施例中，该手持设备是外科手术仪器。在某些实施例中，该
在某些实施例中，该手持设备是机械工具。在某些实施例中，该工具
在某些实施例中，该3D环境的3D结构是现有公知的或者该环境的
示是本领域公知的，即在动作执行之前已经知道的该环境的3D表示。
3D表
具有至少一个内置的运动传感器。在其他实施例中，其他用户界面元件同
样内置，其他用户界面元件例如是按钮、滚轮、触敏式场区或者近距离传
感器。
外科手术仪器包括至少一个运动传感器，其内置于该仪器内。
例如，在外科手术中，CT扫描可以在手术过程之前开
持设备可以是医师需要在正确的3D位置进行应用的外
确保达到该正确的位置，有益的是可以从多个交互的透
环境，即，不必释放该手术仪器。
始。本实施例的手
科手术仪器。为了
视图中观察该3D
该系统在上述外科手术中的好处还在于：该手持设备能够至少部分地
在某些实施例中，该3D结构包括该环境的3D表面。
在某些实施例中，该3D结构包括该环境的3D立体表示。
因此，该3D环境可作为立体数据显示，或者作为表面显示，或者作
合显示。立体数据典型地表示为体素。体素可包括多个标量值。表
为其组
面数据
记录3D环境，典型地在其小于表示在现有数据中的体积的3D场区视图中
记录3D环境。由该手持设备记录的3D数据可以采用现有数据实时注册，
这样可检测到设备的位置和方位。
典型地表示为网格，诸如三角形网格，或者点云。
该扫描可通过LED扫描，激光扫描，白光扫描，X射线扫描和/或CT
本发明涉及包括上述系统的不同方面以及下文中对应的系统、方法、
尤其是，本文中所公开的内容是一种在手持设备和至少一个显示器之
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制所表示的3D环境在显示器上的视图。
此外，本发明涉及一种计算机程序产品，包括程序代码装置，用于当
根据另一方面，公开了一种系统，包括用于在3D环境中操作的手持
及用于可视化所述环境的至少一个显示器，其中该显示器适于从多
图表示所述环境，
其中所述设备适于由操作者保持在一只手中，并且其中表示在至少一
设备以
个透视
所述程序代码装置在该数据处理系统上执行时使得数据处理系统执行根
据任何实施例的方法，以及一种计算机程序产品，包括计算机可读取媒介，
其存储在程序代码装置上。
间交互的方法，其中该方法包括下列步骤：
设备、用途和/或产品装置，每个都具有结合上述的第一方面描述的一个或
多个优点和好处，并且每个都具有与结合上述的第一方面和/所附权利要求
公开的内容描述的实施例对应的一个或多个实施例。
扫描来执行。
个显示器中的透视图至少部分由保持所述设备的操作者的手的运动来确
定。
根据另一方面，公开了一种系统，包括用于在3D环境中操作的手持
及用于可视化所述环境的至少一个显示器，其中该显示器适于在多
中表示所述环境，
其中所述设备适于由操作者保持在一只手中，其中表示在至少一个显
操作者手的运动典型地由设置在该手持设备中的运动传感器来确定。
定义：
3D结构：三维空间中的物质系列或其虚拟表示。
3D环境：在三维空间中每个具有3D构型的物理物体系列。
视图：3D环境表示在显示器上的一种方式。结构上而言，视图由虚拟
设备以
个视图
示器中的视图至少部分由保持所述设备的操作者的手的运动来确定，并且
其中该设备具有至少一个触敏式用户界面元件。
的观察者/照相机的位置和方位来确定。如果显示器是二维的，那么视图也
由投影的类型来决定。视图还可由放大因子来决定。图形上而言，视图可
以通过照片或者诸如计算机图表等之类的某种虚拟表示来示出3D环境。
计算机图表可包括例如用于表面特性的文本和/或阴影和/或虚拟光源和/或
光模型。计算机图表还可以是3D环境的简化表示，例如，网格，略图或
其他简化的表示形式。该3D环境的全部或部分还可具有某些程度的透明
度。视图可以整体或仅其局部来表示3D环境。
功能：目的或将要进行的用途。
执行动作或者操作功能：包括与3D环境交互的某种类型的动作或功
能，例如测量、修正、操作、记录、触摸、感测、扫描、移动、
割、焊接、化学处理、清除等等。术语“操作”因此并不指外科
但是操作可以包括外科手术过程。
变换、切
手术过程，
用户界面功能：用于在人类用户和具有显示器的机器之间进行交互的
手持设备：具有至少一个功能并且可由人类操作者的一只手或双手在
3D扫描仪：分析实物世界物体或3D环境以其形状或可能的外观来收
扫描覆盖面：在扫描操作后由所记录的数据所表示的物理表面所能到
运动传感器：检测运动的传感器。运动可以通过以下内容来检测：声
音（声音传感器），光学（光学和红外传感器以及视频图像处理器），地磁
学（磁力传感器，磁强计），传输能量的反射（红外激光雷达，超声
感器，以及微波雷达传感器），电磁感应（感应环检测器），以及振
擦电的、地震的以及惯性开关传感器）。MEMS加速计，陀
强计是运动传感器的实例。
达的程度。
集数据的设备。
执行该至少一个功能的同时保持的物体。
功能。
波传
动（摩
螺仪，以及磁
工作流：以软件实现的任务序列。
附图说明
参考下面的附图，本发明的上述和/或其他目的、特征和优点将通过本
发明实施例的示意性的和非限定性的详细描述来进一步阐述，其中：
图1示出了包括手持设备和显示器的该系统的实例。
图2示出了采用该手持设备以远程控制形式的用户界面功能的实例。
图3示出了该手持设备的实例。
图4示出了在手持设备和显示器之间交互的方法的流程图的实例。
具体实施方式
在下面的描述中，参考附图，其中附图以演示的方式示出了本发明是
如何实践的。
图1示出了包括手持设备和显示器的该系统的一个实例。该手持设备
本实施例中是口腔牙齿扫描仪，其记录病人牙齿的3D结构。操作者
着病人104的牙齿移动该扫描仪，用于捕获相关牙齿（例如全部牙
3D结构。扫描仪包括运动传感器（未示出），用于在形成被扫描牙
3D模型105的同时考虑扫描仪的运动。显示器101在本实施例中是
扫描仪记录的数据的PC屏幕。
图2示出了采用该手持设备的以远程控制形式的用户界面功能的实
过移动该手持设备100，手持设备100（例如扫描仪）中的运动传
（未示出）使得用户102可以确定显示器101（例如屏幕）上示出的
100在
102沿
齿的）
齿的
显示由
例。通
感器
视图。
图2a）示出了向下指设备100提供了从向下的视觉角度中示出被扫描
图2b）示出了在水平位置保持该扫描仪提供了同样水平地来自前方的
图3示出了手持设备的实例。
手持设备100在本实例中是具有手枪式手柄的口腔扫描仪。该扫描仪
体106以及适于插入病人口中的尖端108，该壳体106包括手枪式
107。在该实施例中，扫描仪还配备有按钮103，其是提供用户界
的附加元件。
图1、图2和图3所示的该实施例系统包括设备100和显示器101，
100是手持口腔扫描仪，显示器101是计算机屏幕。操作者102可
该设备
以是牙
功能是
上旋转、
能的集
包括壳
手柄部
面功能
视觉角度，使得被扫描牙齿的3D模型从前部示出。
牙齿的3D模型。
科医生，助手等等。在一个实施例中，设备100的动作执行或操作
记录某些口腔的3D结构，并且该用户界面功能是在计算机屏幕101
平移和缩放被扫描数据的3D模型105。设备100中的用户界面功
成可由运动传感器（未示出）提供，该运动传感器可以是扫描仪100
内的加速计，其读数确定由扫描仪100所获取的牙齿的3D模
幕上的显示方位，如图2a和2b所示。例如启动/停止扫描之
可由按钮103提供，如图3所示。在本实施例系统中，
用户的食指可以方便到达的地方。
型105在屏
类的其他功能，
按钮103位于其中
在图1中，牙科医生102采用两只手在扫描的同时来保持该口腔扫描
但是应该理解，该扫描仪100还可以在扫描的同时用一只手进行
仪100，
保持。
该设备100还可以采用一只或两只手来保持，同时改变3D模型105
器101中的透视图。图1所示的实施例因而演示了非接触式用户界
的优点，因为在许多诊所情形下，操作者102应保持双手洁净、消
甚至无菌。
3D用户界面功能可扩展到操作功能之外的单个位置中。对于上述的口
图4示出了在手持设备和显示器之间交互的方法的流程图的实例。
在步骤101中，通过该手持设备执行在物理3D环境中的至少一个动
动作可以是如图1所示的牙齿的扫描。
在步骤102中，该物理3D环境由该至少一个显示器进行可视化显示。
在步骤103中，在显示器上示出的所表示的3D环境的视图在显示器
该手持设备进行远程控制。这可以成为如图2所示的3D模型视觉
控制。
本方法中的所有步骤可以重复一次或多次。其中步骤执行的顺序可以
尽管某些实施例已经详细描述和示出，但是本发明并不局限于此，而
这可以是如图1所示的被扫描的牙齿的3D模型显示。
在显示
面功能
毒或者
腔扫描系统实例而言，该扫描操作在病人的口腔内执行，如图1所示，同
时用户界面功能更灵活地在扫描仪位于病人口腔之外时进行扩展，如图2
和3。
作。该
上通过
角度的
不同于上述的顺序，其在图中由虚线示出。如果该步骤中的一个或多个执
行多次，那么该步骤的顺序也可以是不同的。
还可以以所附权利要求限定的主题的范围内的其他方法实施。特别是，应
该理解，只要不脱离本发明的范围，可以采用其他实施例和进行结构上和
功能上的变形。
在设备权利要求中，枚举了几种装置，这些装置的几种可以由一种硬
应该强调，使用在本说明书中的术语“包括”用于指明所阐述的特征、
步骤或成分的出现，但是并不排除一个或多个其他特征、集成物、
成分或其组合的出现或添加。
上述以及下文中的方法的特征可以软件形式实现，并在数据处理系统
文献：
el,,，和的A Non-Contact Mouse for
Vogt S.,Khamene A.,Niemann H.,Sauer F.的An AR system with
intuitive user interface for manipulation and visualization of3D medical data，
.2004;98,pp.397-403。
Surgeon-Computer logy and Health Care12（3），2004
或由计算机可执行指令执行所导致的其他处理装置来实现。这些指令可以
是通过计算机网络从存储媒介或另一计算机加载到存储器中的程序代码
装置。该存储器例如RAM。可替换地，所述的特征可以通过代替软件的
硬件电路或者与软件组合来执行。
集成物、
步骤、
件或同款的硬件来实施。其事实仅仅是特定的测量值重新引用在互不相同
的从属权利要求中或描述在不同的实施例中，其并不显示为这些测量值的
组合不能一起使用。
实施例：
下面的实施例涉及由本文说明书所描述的系统的一个方面。
1.一种系统，包括手持设备和至少一个显示器，其中该手持设备适于
3D环境中执行至少一个动作，其中该至少一个显示器适于可视化
物理3D环境，并且其中该手持设备适于远程控制该视图，其中该
境可采用该视图表示在该显示器上。
2.根据上述实施例中的任何一个或多个实施例的系统，其中该视图定
位为视觉角度和/或视觉位置。
3.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设
于远程控制该放大，其中该3D环境采用该放大表示在该显示器上。
4.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设
改变该3D环境在该显示器上的显示。
5.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一
包括下列中的一个或多个：
-测量；
-记录；
-扫描；
-操作，和/或
在物理
表示该
3D环
备适用
备适于
个动作
-修正。
6.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环
一个或多个3D物体。
7.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设
由操作保持在一只手中。
8.根据上述实施例中的任何一个或多个实施例的系统，其中该显示器
多个视图中表示该3D环境。
9.根据上述实施例中的任何一个或多个实施例的系统，其中表示在该
个显示器中的3D环境的视图至少部分由保持所述设备的操作者的
动来确定。
10.根据上述实施例中的任何一个或多个实施例的系统，其中表示在
个显示器中的放大至少部分由保持所述设备的操作者的手的运动
11.根据上述实施例中的任何一个或多个实施例的系统，其中，该手
适于记录3D环境的3D结构。
12.根据上述实施例中的任何一个或多个实施例的系统，其中，该3D
环境的3D结构是现有技术公知的。
13.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
括至少一个用户界面元件。
14.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
境包括
备适于
适于从
至少一
手的运
至少一
来确定。
持设备
设备包
一个用
户界面元件是至少一个运动传感器。
15.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
括提供传感器联合的至少两个运动传感器。
16.根据上述实施例中的任何一个或多个实施例的系统，其中该用户
能包括使用手势。
17.根据上述实施例中的任何一个或多个实施例的系统，其中该手势
少一个运动传感器检测。
18.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
括除该至少一个运动传感器之外的至少一个用户界面元件。
19.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
他的用户界面元件是触敏式元件。
20.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
他的用户界面元件是按钮。
21.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
他的用户界面元件是滚轮。
22.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
于改变视觉角度，其中3D环境采用该视觉角度显示在该至少一个
上。
23.根据上述实施例中的任何一个实施例的系统，其中该手持设备适
放大因子，其中该3D环境采用该放大因子表示在该至少一个显示
设备包
界面功
由该至
设备包
一个其
一个其
一个其
设备适
显示器
于改变
器上。
24.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
于改变视觉位置，其中该3D环境采用该视觉位置显示在该至少一
个显示器上。
25.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环
图包括视觉角度、放大因子和/或视觉位置。
26.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环
图包括文本和/或阴影的显示。
27.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器分成多个区域，每个区域采用不同的视图来示出该3D环境。
28.根据上述实施例中的任何一个或多个实施例的系统，其中该3D结
该环境的3D表面。
29.根据上述实施例中的任何一个或多个实施例的系统，其中该3D结
该环境的3D立体表示。
30.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
口腔3D扫描仪。
31.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
外科手术仪器。
32.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
机械工具。
设备适
境的视
境的视
一个显
构包括
构包括
设备是
设备是
设备是
33.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
耳内3D扫描仪。
34.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器设置成与该手持设备分开。
35.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器设置在手推车上。
36.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器定义为第一显示器，并且其中该系统还包括第二显示器。
37.根据上述实施例中的任何一个或多个实施例的系统，其中该第二
设置在该手持设备上。
38.根据上述实施例中的任何一个或多个实施例的系统，其中该第二
设置在手持设备中这样的位置上：使得该显示器适于由操作者进行
同时该操作者操作该手持设备。
39.根据上述实施例中的任何一个或多个实施例的系统，其中该第二
显示该手持设备相对于该3D环境定位在哪。
40.根据上述实施例中的任何一个或多个实施例的系统，其中该第一
和/或第二显示器为操作者提供指令。
41.根据上述实施例中的任何一个或多个实施例的系统，其中将视频
除第一显示器之外的一个或多个装置上提供给操作者。
设备是
一个显
一个显
一个显
显示器
显示器
观察，
显示器
显示器
信息在
42.根据上述实施例中的任何一个或多个实施例的系统，其中将给操
音频信息提供给该操作者。
43.根据上述实施例中的任何一个或多个实施例的系统，其中该扫描
LED扫描、激光扫描、白光扫描、X射线扫描和/或CT扫描来执行。
44．一种在手持设备和至少一个显示器之间交互的方法，其中该方法
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制在显示器上所表示的3D环境的视图。
45.一种计算机程序产品，包括程序代码装置，其用于当所述程序代码
46.根据上述实施例的一种计算机程序产品，包括已经存储在程序代码
装置上的计算机可读取媒介。
包括下列步骤：
作者的
通过
装置在数据处理系统上执行时，使得数据处理系统执行上述实施例中任意
一个或多个实施例的方法。
2024年4月22日发(作者：才坚壁)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.6
(22)申请日 2011.12.05
(71)申请人 3形状股份有限公司
地址 丹麦哥本哈根
(72)发明人 卡尔-约瑟夫·霍伦贝克 亨里克·奥杰伦德 D·费舍尔
(74)专利代理机构 北京派特恩知识产权代理事务所(普通合伙)
代理人 武晨燕
(51)
G01B11/24
A61C13/00
(10)申请公布号 CN 103339468 A
(43)申请公布日 2013.10.02
权利要求说明书 说明书 幅图
(54)发明名称
具有3D用户界面集成的系统
(57)摘要
本发明公开了一种包括手持设备
（100）和至少一个显示器（101）的系
统，其中该手持设备（100）适于执行至少
一种物理3D环境中的动作。这些动作包
括测量，修正，操作，记录，触摸，感
测，扫描，移动，变换，切割，焊接，化
学处理，清除。显示器（101）适于可视化
表示物理3D环境，并且其中手持设备
（100）适于远程控制其中3D环境表示在
显示器（101）上的视图。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种系统，包括手持设备和至少一个显示器，其中该手持设备适
-在物理3D环境中执行至少一个动作，其中该至少一个显示器适于可
-远程控制该视图，其中该3D环境采用该视图表示在该显示器上。
2.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持
3.根据前述权利要求的任何一个或多个权利要求的系统，其中用于在
4.根据权利要求3的系统，其中用于手动切换的装置是致动器，例如
5.根据前述权利要求的任何一个或多个权利要求的系统，其中该视图
限定为视觉角度和/或视觉位置。
按钮、开关或接触器。
执行该至少一个动作和远程控制该视图之间手动切换的装置提供该手持
设备上。
设备适于记录该3D环境的3D结构。
视化表示该物理3D环境，以及
于在以下操作之间切换：
6.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持
7.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持
8.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少
-测量，
-记录，
-扫描，
-操作，和/或
-修正。
9.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
一个动作包括下列中的一个或多个：
设备适于改变3D环境在显示器上的显示。
设备适于远程控制放大，其中该3D环境采用该放大表示在该显示器上。
环境包括一个或多个3D物体。
10.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
11.根据前述权利要求的任何一个或多个权利要求的系统，其中该显
12.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
13.根据前述权利要求的任何一个或多个权利要求的系统，其中在该
14.根据前述权利要求的任何一个或多个权利要求的系统，其中表示
在该至少一个显示器中的放大至少部分由该至少一个运动传感器来确定。
至少一个显示器中表示的3D环境的视图至少部分由该至少一个运动传感
器来确定。
持设备包括至少一个运动传感器。
示器适于从多个视图中表示该3D环境。
持设备适于由操作者保持在一只手中。
15.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
16.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
17.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
18.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
19.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
20.根据前述权利要求的任何一个或多个权利要求的系统，其中该用
户界面功能包括手势的使用。
持设备包括提供传感器联合的至少两个运动传感器。
少一个用户界面元件是至少一个运动传感器。
持设备包括至少一个用户界面元件。
环境的3D结构是现有技术公知的。
持设备适于记录该3D环境的3D结构。
21.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
22.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
23.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
24.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
25.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
26.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
持设备适于改变视觉角度，其中该3D环境采用该视觉角度表示在该至少
一个显示器上。
少一个其他的用户界面元件是滚轮。
少一个其他的用户界面元件是按钮。
少一个其他的用户界面元件是触敏式元件。
持设备包括除该至少一个运动传感器之外的至少一个用户界面元件。
势由该至少一个运动传感器检测。
27.根据前述权利要求的任何一个权利要求的系统，其中该手持设备
28.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
29.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
30.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
31.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
少一个显示器分成多个区域，每个区域采用不同的视图来示出3D环境。
环境的视图包括文本和/或阴影的显示。
环境的视图包括视觉角度、放大因子和/或视觉位置。
持设备适于改变视觉位置，其中该3D环境采用该视觉位置来表示在该至
少一个显示器上。
适于改变放大因子，其中该3D环境采用该放大因子表示在该至少一个显
示器上。
32.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
33.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D
34.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
35.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
36.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
37.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
持设备是耳内3D扫描仪。
持设备是机械工具。
持设备是外科手术仪器。
持设备是口腔内3D扫描仪。
结构包括该环境的3D立体表示。
结构包括该环境的3D表面。
38.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
39.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
40.根据前述权利要求的任何一个或多个权利要求的系统，其中该至
41.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
42.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
43.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
二显示器显示该手持设备相对于该3D环境在哪定位。
二显示器设置在手持设备这样的位置上：使得显示器适于在操作者正在操
作该手持设备的同时由操作者观察。
二显示器设置在该手持设备上。
少一个显示器限定成第一显示器，并且其中该系统还包括第二显示器。
少一个显示器设置在手推车上。
少一个显示器设置成与该手持设备分开。
44.根据前述权利要求的任何一个或多个权利要求的系统，其中该第
45.根据前述权利要求的任何一个或多个权利要求的系统，其中在除
46.根据前述权利要求的任何一个或多个权利要求的系统，其中将给
47.根据前述权利要求的任何一个或多个权利要求的系统，其中扫描
48.根据前述权利要求的任何一个或多个权利要求的系统，其中将图
形指示器设置在显示器上，用于在该手持设备用于远程控制视图时表示该
手持设备的运动，其中3D环境使用该视图表示在显示器上。
通过LED扫描、激光扫描、白光扫描、X射线扫描、和/或CT扫描来执行。
操作者的音频信息提供给操作者。
第一显示器之外的一个或多个装置上将视觉信息提供给操作者。
一显示器和/或第二显示器为操作者提供指令。
49.根据前述权利要求的任何一个或多个权利要求的系统，其中该手
持设备是口腔内3D扫描仪，并且在物理3D环境中执行的该至少一个动作
是扫描，其中该视图通过设置在该手持设备中的至少一个运动传感器
程控制，并且其中设置在该手持设备上的致动器在执行该至少
远程控制该视图之间切换。
来远
一个动作和
50.一种在手持设备和至少一个显示器之间交互的方法，其中该方法
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过该至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制所表示的3D环境在显示器上的视图。
51.一种计算机程序产品，包括程序代码装置，该装置用于当所述程序
52.根据前述权利要求的计算机程序产品，包括已经存储在程序代码装
置上的计算机可读取媒介。
包括以下步骤：
代码装置在数据处理系统上执行时，使得数据处理系统执行权利要求44
的方法。
说 明 书
技术领域
本发明总体上涉及包括手持设备和至少一个显示器的方法和系统。
背景技术
3D可视化在许多工业和医疗领域非常重要，其中3D信息变得越来越
显示和检查3D信息本质上是非常困难的。为了在屏幕上完全理解3D
各种用户交互设备用于显示3D数据的软件，这些设备是：3D鼠标、
物理接触用户交互设备在医疗应用中或是在肮脏环境的工业应用中
点，其中，在医疗应用中，由于在病人之间或者病人和手术者之间
叉感染的危险。
在医疗应用中用于3D数据视图的几种非接触用户界面已经在著作中
描述。Vogt等人（2004）描述了一种3D医学成像数据的现场可视
接触式交互系统。该用户界面基于反射标记物的跟踪，其中照相机
医师头部。Graetzel等人（2004）描述了一种非接触式系统，其将
进行了
化的非
安装在
手势解
存在缺
存在交
空间球和触摸屏。当前这些交互设备的操作要求物理接触它们。
物体或全部环境，用户通常应该能旋转该物体或场景，这样许多或者优选
地所有的表面都被显示。这甚至对3D显示（例如，立体式或全息式）来
说是真实的，其中从给定的视角位置并采用给定的视角角度，用户将仅仅
看见任意3D环境的某些表面。通常，用户也非常想放大成细节或者缩小
以概览。
占主导地位。
释为鼠标动作。其基于立体视图并且旨在在微创外科手术中使用。
仍然存在改进这样系统的问题，该系统要求用于视图控制的用户界
如可用于临床目的。
发明内容
所公开的系统包括手持设备和至少一个显示器，其中该手持设备适于
该系统可适于在执行物理3D环境中的至少一个动作和远程控制3D环
这里所公开的系统执行将3D用户界面功能与任何其他手持设备以及
作功能进行集成，这样操作者理想地仅触摸该将要进行触摸的后面
这种手持设备的一种特定实施例是记录某些3D结构的一种，例
3D扫描仪。
该手持设备是多功能设备，诸如双功能或者两用设备，即既能执行物
结构上，视图由实际观察者/照相机相对于该3D环境或其可视化表示
置和方位来确定。如果该显示器是二维的，该视图也由投影类型来
视图还可由放大因子来确定。
境表示在该显示器上的视图之间进行切换。
面，例
执行物理3D环境中的至少一个动作，其中该至少一个显示器适于可视化
表示该物理3D环境，并且其中该手持设备适于远程控制所述3D环境表示
在该显示器上的视图。
其他操
的设备。
如手持
理3D环境中的动作（例如测量和操作）又能远程控制该3D环境在显示器
上的视图的设备。
物的位
确定。
实际观察者和3D环境的位置和方位通常彼此相关。根据用户在具有
入设备的软件系统中的经历，用户可感受，例如，他/她在他/她本身
止的同时移动该3D环境，但是通常是实际观察者/照相机在显示器
了同样结果的等效移动。通常，3D软件系统的描述采用了术语“平
（pan）”来表示3D环境的明显的平移运动，“旋转”来表示3D环境的
图表上，视图可通过照片或者例如计算机图表之类的某种可视化表示
旋转运动，“缩放”来表示放大因子的变化。
3D输
保持静
上给出
移
物或类似物来表示3D环境。计算机图表可例如以文本和/或阴影和/或实际
光源和/或用于表面特性的光模型来显示。计算
化表示，例如网格、轮廓或其他简化表示。所有
某些透明度来显示。视图可以其整体或仅仅是部
机图表还可是3D环境的简
或部分3D环境还可采用
分来表示该3D环境。
所有的这些非接触式现有技术系统仅仅是3D用户界面设备。在许多
术的应用中，采用这种用户界面设备的操作者还将持有另一设备并
另一设备工作，该设备真正是整个应用（例如医疗仪器）的核心设
因此本系统的优点是该3D用户界面功能集成在核心设备中，用于执
动作。
在某些实施例中，该手持设备适于远程控制该放大，其中3D环境采
大表示在显示器上。
在某些实施例中，该手持设备适于在显示器上改变该3D环境的显示。
在某些实施例中，该视图限定为视觉角度和/或视觉位置。
现有技
且采用
备。
行某种
用该放
在某些实施例中，该至少一个动作包括下列动作中的一个或多个：
-测量；
-记录；
-扫描；
-操作；
-修正。
在某些实施例中，该3D环境包括一个或多个3D物体。
在某些实施例中，该手持设备适于由操作者保持在一只手中。
在某些实施例中，该显示器适于从多个视图表示该3D环境。
在某些实施例中，该显示器适于从不同的视觉角度和/或视觉位置表示
在某些实施例中，3D环境在至少一个显示器中的视图至少部分由保持
在某些实施例中，表示在至少一个显示器中的放大至少部分由保持所
在某些实施例中，该手持设备适于记录该3D环境的3D结构。
述设备的操作者的手的运动来确定。
所述设备的操作者的手的运动来确定。
该3D环境。
因此，该手持设备可以是口腔牙科扫描仪，其记录病人牙齿的3D结
作者可沿着病人的牙齿移动该扫描仪，用于捕获相关牙齿，例如全
的3D结构。该扫描仪可包括运动传感器，用于在产生所扫描的牙
3D模型的同时考虑扫描仪的移动。
牙齿的3D模型可在显示器上示出，显示器例如可以是PC屏幕等等。
用户界面功能可包括将运动传感器组合到扫描仪中，这样用户可通过
在某些实施例中，该手持设备包括至少一个用户界面元件。用户界面
该手持设备还可设置有致动器，其使得该手持设备在执行至少一个动
这种致动器可以例如是以按钮、开关或触头的形式。在其他实施例中，
在另一实施例中，致动器可以是设置在手持设备中的运动传感器，在
其注册运动的特定类型时，例如，如果操作者摇晃该手持设备时，其可用
作致动器。这种运动传感器的实施例将在本文中相对用户界面元件进行描
其可以是触敏式表面或者元件。
作和远程控制该视图之间进行切换。通过提供这种手动切换功能，操作者
容易控制要执行的那些，其中该手动切换功能使得操作者在执行该至少一
个动作和远程控制该视图之间切换。
元件是其中用户可进行操作以便启动该软件用户界面上的功能的元件。典
型地，该用户界面是图表式呈现在系统的显示器上。
移动该扫描仪来在屏幕上确定该视图。向下指该扫描仪可以给定的向下视
角来示出所扫描的牙齿。在水平位置保持该扫描仪可使得视角同样也是水
平的。
构。操
部牙齿
齿的
述，然而，本领域技术人员根据本文中公开的内容知道，这种运动传感器
也可用作如上所述的致动器。
例如，在一个实施例中，该手持设备可以是牙科医生使用的口腔3D
该扫描仪设定为当致动器位于一个位置时执行扫描牙齿区域的动
扫描仪。
作。当致动器切换到第二位置时，该手持设备设定为控制该视
环境采用该视图显示在显示器上。这可能是例如当牙科医生扫
部分或全部预定区域时，他可启动该致动器，然后使得该牙科
用该手持设备来远程控制所扫描的区域在显示器上的3D显示
图，其中3D
描完牙弓的
医生通过采
视图。
例如，该致动器可以是按钮。当快速按压按钮时，该手持设备准备扫
在执行扫描的同时，可视化3D显示可视化地构建在该显示器上。
用户现在可按压并保持该按钮。这将使得手持设备进入到控制器模
中该手持设备适于远程控制视图，其中采用该视图，诸如所扫描的
类的3D环境显示在显示器上。在保持按钮按压的同时，该系统将
自手持设备中的运动传感器的信号来确定如何去显示实际3D环境
因此，如果用户转向或者另外移动保持该手持设备的手，那么实
环境在显示器上的视图因此将改变。
因此，牙科医生可采用相同的手持设备，用于同时扫描区域并且随后
识别扫描已经正确执行，而不必从病人处移开或者触摸除已经呈现在他手
中的之外的任何其他设备。
式，其
牙齿之
使用来
的视图。
际3D
描，即，其设定为在物理3D环境中执行至少一个动作，扫描程序。当第
二次快速按压该按钮时，停止扫描。
在一个实施例中，该用户界面元件与致动器相同，或者当有几个用户
该系统可配有按钮，作为提供用户界面功能的附加元件。
在一个实施例中，该手持设备是手持口腔扫描仪，并且该显示器是计
在某些实施例中，至少一个用户界面元件是至少一个运动传感器。
因此，将用户界面功能在设备中的集成可以由运动传感器来设置，其
可以是扫描仪内的加速计，其读取决定了由扫描仪获得的牙齿的3D模型
在屏幕上的显示方位。其他的功能，例如，启动/停止扫描，可由按钮来提
供。该按钮可以位于操作者或用户的食指可以方
算机屏幕。操作者或用户可以是牙科医生、助手和/或其他。该设备的操作
功能可以记录某些口腔的3D结构，该用户界面功能可以是在计算机屏幕
上旋转、摇动和缩放被扫描的数据。
界面元件时，其中的至少一个也用作致动器。
便到达的地方。
现有技术中的口腔扫描仪采用触摸屏，轨迹球或者鼠标来确定显示器
操作者或者用户，例如，牙科医生，可以使用一只手或者双手来在扫
描的同时保持该口腔扫描仪，并且该扫描仪可以足够轻和舒适，以便在扫
描的同时可以仅仅采用一只手来保持足够长的时间。
中的视图。这些现有技术的用户界面设备可以是不方便使用的、不合适使
用的或者难以使用的，并且它们可以是劳动密集型的，因此需要花费成本
进行杀菌或消毒。口腔扫描仪通常应该在扫描不同的病人之间进行消毒，
这是因为扫描仪要进入到将要被扫描的病人的口腔或其他部分内，或者与
口腔或其他部分接触。
该设备也可采用一只手或者两只手来保持，同时采用该设备作为例如
该系统的好处在于其可以在3D环境中进行重复过程，而不用在所述
释放该手持设备。对于上述的口腔扫描系统的实例，操作者（例如
生）可以采用成为口腔扫描仪的手持设备记录某些牙齿表面的结
过程中
牙科医
构，检
转）在
覆盖面
续记录
可重复
不必将
改变显示器中视图的远程控制。无接触式用户界面功能的好处在于：在医
疗情形下，操作者可以保持双手洁净、消毒或者甚至无菌的状态。
查通过采用相同的手持设备记录的表面覆盖面，以便移动（例如旋
诸如计算机屏幕之类的显示器上被记录的表面，检测所扫描的牙齿
中可能的缝隙或孔洞，然后例如将扫描仪安排在缝隙所在的并且继
那儿的牙齿表面几何结构的区域中。在这全部的重复环节之上，其
超过一次，诸如与得到牙齿预定扫描覆盖面所需的多次，牙科医生
该手持口腔扫描放置在他或她的手之外。
在某些实施例中，3D用户界面功能拓展到除操作功能之外的单个位置
上述的口腔扫描系统是实施例的一个实例。操作功能或者执行动作的
中。对于上述的口腔扫描系统实例，该扫描操作在病人的口腔内执行，而
当该扫描仪位于病人口腔之外时该用户界面功能更灵活地扩展。再一次，
该系统主要的特性和优点在于牙科医生可以拓展为扫描仪的双重以及集
成功能（即操作和用户界面）而不用将其放置在他或她的手之外。
其他实例可以是钻孔、焊接、研磨、切割、钎焊、摄影、
行某些外科手术过程等等。 拍摄、测量、执
系统的显示器可以是2D计算机屏幕，投射立体图像对的3D显示器，
产生3D效果的立体显示器（诸如扫描体显示器）静态体显示器，视差屏
障显示器，全息显示器等等。即使采用3D显示器，操作者相对于同一时
刻的3D环境仅仅具有一个视觉位置和视觉角度。操作者可移动他/她的头
部来假定另一物理视觉位置和/或视觉角度，但是通常来说，可以更方便使
用具有其内置用户界面功能的手持设备（例如远程控制）来改变展示在显
示器中的视觉位置和/或视觉角度。
在某些实施例中，该系统包括多个显示器，或者分成多个区域的一个
在某些实施例中，用户界面功能包括使用手势。
例如由操作者形成的手势可以用于改变、转移或者在子窗口之间切换，
在某些实施例中，手势适用于由至少一个运动传感器来检测。手势可
操作者不必一直监测系统的该至少一个显示器。在许多应用中，操作
在某些实施例中，至少一个显示器设置成与该手持设备分开。
者将采用该手持设备在观察和可能的操作该显示器以及执行另一操作之
间转换。因此其好处在于操作者不必接触其他用户界面设备。然而，在某
些情形中，操作者不可能全部避免接触其他设备，并且，在这些情况下，
其好处是与其中手持设备根本不提供任何用户界面功能的系统相比，要求
进行较少的接触。
由范围传感器或记录身体运动的其他传感器来交替和/或另外检测。
并且该用户界面功能可以限制为有效的子窗口或者几个显示器中的一个。
或多个显示器。例如，在PC屏幕上的几个子窗口可以表示3D环境的不同
视图。该手持设备可以用于改变其全部的视图，或者仅仅改变其部分的视
图。
在某些实施例中，至少一个显示器定义成第一显示器，并且其中该系
在某些实施例中，该第二显示器设置在该手持设备上。
在某些实施例中，该第二显示器设置在该手持设备上使得在操作者操
在某些实施例中，该第二显示器显示出该手持设备相对于该3D环境
位的地方。
在某些实施例中，该第一显示器和/或第二显示器为操作者提供了指
该显示器可以多种方式设置。例如，它们可以安装在墙壁上，设置在
在某些实施例中，至少一个显示器安装在设备本身上。其好处在于：
在某些实施例中，在除第一显示器之外的一个或多个装置上提供视觉
在某些实施例中，将给操作者的音频信息提供给操作者。
信息给操作者。
采用这种设置可以使得在设备本身上具有显示器，操作者的眼睛不必交替
在不同的距离之间聚焦。在某些情况下，操作功能要求在操作的设备以及
3D环境的附近来近距离地观察，这样可以远离操作者的手尽量远的距离来
进行观察。尤其是在诸如牙科诊所、手术室、或者工业工作间之类的嘈杂
环境中，难以放置离该设备较近的外部显示器。
某种看台或者手推车（cart）上，设置在架子上或者桌子上，或者其他。
令。
进行定
作该手持设备的同时该显示器适于被操作者观察的位置中。
统还包括第二显示器。
因而在某些实施例中，该系统提供了另外的信息给操作者。在某些实
提供给该操作者的所述信息可以包括用于使用的指令、警告等等。
该信息有助于改进该设备的动作执行或操作功能，例如通过显示将要
在某些实施例中，某些3D用户界面功能由嵌入于该设备中的至少一
传感器来提供。运动传感器的实例是加速计，陀螺仪，以及磁强计
这些传感器可以感测旋转、横向运动和/或其组合。其他运动传感器
外感测。例如，至少一个红外传感器可安装在该设备上，至少一个
射器可安装在该设备的周围。相反，该至少一个发射器可安装在该
该至少一个传感器安装在周围。另一种可能性是在该设备上使用
个运动
等等。
使用红
红外发
设备上，
红外反
可通过
执行的动作或操作如何，和/或有助于改进动作或操作容易性和/或动作或
操作结果质量的指令。例如，LED可以改变色彩和/或闪烁频率。在一个扫
描仪中，信息可涉及所扫描的3D环境如何好地聚焦和/或扫描质量和/或扫
描覆盖面。该信息可包括如何最好地定位该扫描仪的指令，例如获得好的
扫描质量和/或扫描覆盖面。该指令可用于计划和/或执行托架定位。该指
令可以是给操作者的消息系统的形式。
施例中，该系统包括在除显示器之外的其他装置上显示的其他视觉线索，
该其他装置例如该设备上的LED。在某些实施例中，该系统提供音频信息
给操作者，该音频信息例如通过不同的声音和/或通过语音。
射器以及在其周围使用传感器和发射器，或者再次相反。因此运动
各种原理来感测。
通过恰当的信号处理，某些传感器可重新识别其他的操作者的动作；
例如诸如轻敲、挥手或者摇动该手持设备之类的手势。因此，这些手势还
可扩展到3D用户界面功能中。
在某些实施例中，该手持设备包括提供传感器联合的至少两个运动传
在某些实施例中，该手持设备包括除至少一个运动传感器之外的至少
在某些实施例中，该至少一个其他用户界面元件是触敏式元件。
在某些实施例中，该至少一个其他用户界面元件是按钮。
在某些实施例中，该至少一个其他用户界面元件是滚轮。
在某些实施例中，用户界面功能通过设备上其他的元件来提供。因而
该其他用户界面元件可扩展或使用在对于设备的应用场合来说合适的
该
工作流中。该工作流可以某些用户软件应用来实现，其中该用户软件应用
也可控制该显示器并且因此控制表示在其上的视图。给定的界面元件可提
供多个用户输入给软件。例如，按钮既可提供单击，也可提供双击。例如，
双击可意味着在工作流中优先进行连续的步骤。对于口腔扫描的实例，
工作流中的三个步骤可用于扫描口腔下部、
区可在多个方向上提供敲击，每个方向具
面元件提供多个用户输入是有益的，这是
件仅仅提供一个用户输入的情形可以减小
这些其他的元件例如是按钮、滚轮、触敏式场区、近距离传感器等等。
一个用户界面元件。
感器。传感器联合可用于从例如原始陀螺仪、加速计和/或磁强计数据获得
更好的运动信号。传感器联合可以诸如Inven Sense MPU300之类的IC来
实现。
口腔上部以及咬合。触敏式场
有不同的效果，等等。从用户界
因为相对于其中每个用户界面元
设备上用户界面元件的数量。
该运动传感器还可扩展到工作流中。例如，举起该设备，其可通过加
速计进行感测，可表示某种类型的用户输入，例如启动某些动作。在其是
扫描仪的设备中，其可以启动扫描。相反，将设备放置在某种支撑器之后，
由于某个时间段上没有加速出现因而可通过加速计感测到，可停止所
述动 作。
如果由该设备执行的动作是某种记录，例如扫描，例如3D扫描，那
的结果也可以扩展为用户输入，可能与来自其他用户界面元件的用
一起。例如，采用具有有限场区深度的3D扫描仪，通过检测任何
是否被记录而可以检测出是否3D环境中的任何物体表示在与该场区
应的体积中。用户输入可取决于这种检测的出现。例如，口腔扫描
按钮点击可提供不同的用户输入，该用户输入取决于扫描仪是否在
其中可检测到牙齿，或者明显检测出牙齿远离口腔或者位于口腔
同样，运动传感器信号的效果可对于每个情况进行不同的解释。例
描仪当其位于口腔之外时，可仅改变表示在该显示器上的视图。
在某些实施例中，该手持设备适于改变该视觉角度，其中3D环境采
觉角度表示在该至少一个显示器上。
在某些实施例中，该手持设备适于改变放大因子，其中该3D环境可
放大因子表示在该至少一个显示器上。
在某些实施例中，该手持设备适于改变视觉位置，其中该3D环境可
视觉位置表示在该至少一个显示器上。
在某些实施例中，该3D环境的视图包括视觉角度、放大因子和/或视
么记录
户输入
3D点
深度对
仪上的
口腔内，
外部。
如，扫
用该视
采用该
采用该
觉位置。
在某些实施例中，该3D环境的视图包括以文本和/或阴影的显示。
在某些实施例中，该至少一个显示器分成多个区域，每个区域以不同
因而，在某些实施例中，该用户界面功能包括改变视图，其中3D环
该视图显示。视图中的变化可包括视觉角度、视觉位置、放大因子
变化。视角的变化可以自然地通过旋转该设备来影响。旋转自然地
陀螺仪和/或相对于由加速计感测的重力来感测。缩放，即，放大的
可例如分别通过向前和向后推动该手持设备来实现。视图位置的平
例如淘选，可例如通过向上/向下和/或侧向推动手持设备来实现。
在某些实施例中，该用户界面功能包括挑选或选择显示器上的项或由
在某些实施例中，该用户界面功能包括操作显示在屏幕上的3D环境。
在某些实施例中，该手持设备是口腔扫描仪和/或耳内扫描仪。如果扫
的视图显示该3D环境。
境采用
等等的
借助于
改变，
移变化，
本领域公知的计算机中的图形用户界面提供的任何其他功能。操作者可执
行挑选。3M ESPE出售的Lava C.O.S扫描仪已经在该手持设备上具有了
其他的按钮，但是它不可以通过这些按钮来操作视图。它们仅有的目的是
通过菜单系统进行导航，并且启动/停止扫描。
例如，操作者可以影响3D环境中物体的变形或者改变物体的位置或方位。
因此，在某些实施例中，该用户界面功能包括虚拟用户界面功能，其可以
是3D数据被操作，但是其中设备操作的物理3D环境并不被操作。
描仪包括尖端，该尖端可以互换，借此，扫描仪可以变为适合在口内扫描
或者在耳内扫描。由于耳朵的腔比口腔小，因此安装到耳朵中的尖端小于
安装在口腔内的尖端。
在某些实施例中，该手持设备是外科手术仪器。在某些实施例中，该
在某些实施例中，该手持设备是机械工具。在某些实施例中，该工具
在某些实施例中，该3D环境的3D结构是现有公知的或者该环境的
示是本领域公知的，即在动作执行之前已经知道的该环境的3D表示。
3D表
具有至少一个内置的运动传感器。在其他实施例中，其他用户界面元件同
样内置，其他用户界面元件例如是按钮、滚轮、触敏式场区或者近距离传
感器。
外科手术仪器包括至少一个运动传感器，其内置于该仪器内。
例如，在外科手术中，CT扫描可以在手术过程之前开
持设备可以是医师需要在正确的3D位置进行应用的外
确保达到该正确的位置，有益的是可以从多个交互的透
环境，即，不必释放该手术仪器。
始。本实施例的手
科手术仪器。为了
视图中观察该3D
该系统在上述外科手术中的好处还在于：该手持设备能够至少部分地
在某些实施例中，该3D结构包括该环境的3D表面。
在某些实施例中，该3D结构包括该环境的3D立体表示。
因此，该3D环境可作为立体数据显示，或者作为表面显示，或者作
合显示。立体数据典型地表示为体素。体素可包括多个标量值。表
为其组
面数据
记录3D环境，典型地在其小于表示在现有数据中的体积的3D场区视图中
记录3D环境。由该手持设备记录的3D数据可以采用现有数据实时注册，
这样可检测到设备的位置和方位。
典型地表示为网格，诸如三角形网格，或者点云。
该扫描可通过LED扫描，激光扫描，白光扫描，X射线扫描和/或CT
本发明涉及包括上述系统的不同方面以及下文中对应的系统、方法、
尤其是，本文中所公开的内容是一种在手持设备和至少一个显示器之
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制所表示的3D环境在显示器上的视图。
此外，本发明涉及一种计算机程序产品，包括程序代码装置，用于当
根据另一方面，公开了一种系统，包括用于在3D环境中操作的手持
及用于可视化所述环境的至少一个显示器，其中该显示器适于从多
图表示所述环境，
其中所述设备适于由操作者保持在一只手中，并且其中表示在至少一
设备以
个透视
所述程序代码装置在该数据处理系统上执行时使得数据处理系统执行根
据任何实施例的方法，以及一种计算机程序产品，包括计算机可读取媒介，
其存储在程序代码装置上。
间交互的方法，其中该方法包括下列步骤：
设备、用途和/或产品装置，每个都具有结合上述的第一方面描述的一个或
多个优点和好处，并且每个都具有与结合上述的第一方面和/所附权利要求
公开的内容描述的实施例对应的一个或多个实施例。
扫描来执行。
个显示器中的透视图至少部分由保持所述设备的操作者的手的运动来确
定。
根据另一方面，公开了一种系统，包括用于在3D环境中操作的手持
及用于可视化所述环境的至少一个显示器，其中该显示器适于在多
中表示所述环境，
其中所述设备适于由操作者保持在一只手中，其中表示在至少一个显
操作者手的运动典型地由设置在该手持设备中的运动传感器来确定。
定义：
3D结构：三维空间中的物质系列或其虚拟表示。
3D环境：在三维空间中每个具有3D构型的物理物体系列。
视图：3D环境表示在显示器上的一种方式。结构上而言，视图由虚拟
设备以
个视图
示器中的视图至少部分由保持所述设备的操作者的手的运动来确定，并且
其中该设备具有至少一个触敏式用户界面元件。
的观察者/照相机的位置和方位来确定。如果显示器是二维的，那么视图也
由投影的类型来决定。视图还可由放大因子来决定。图形上而言，视图可
以通过照片或者诸如计算机图表等之类的某种虚拟表示来示出3D环境。
计算机图表可包括例如用于表面特性的文本和/或阴影和/或虚拟光源和/或
光模型。计算机图表还可以是3D环境的简化表示，例如，网格，略图或
其他简化的表示形式。该3D环境的全部或部分还可具有某些程度的透明
度。视图可以整体或仅其局部来表示3D环境。
功能：目的或将要进行的用途。
执行动作或者操作功能：包括与3D环境交互的某种类型的动作或功
能，例如测量、修正、操作、记录、触摸、感测、扫描、移动、
割、焊接、化学处理、清除等等。术语“操作”因此并不指外科
但是操作可以包括外科手术过程。
变换、切
手术过程，
用户界面功能：用于在人类用户和具有显示器的机器之间进行交互的
手持设备：具有至少一个功能并且可由人类操作者的一只手或双手在
3D扫描仪：分析实物世界物体或3D环境以其形状或可能的外观来收
扫描覆盖面：在扫描操作后由所记录的数据所表示的物理表面所能到
运动传感器：检测运动的传感器。运动可以通过以下内容来检测：声
音（声音传感器），光学（光学和红外传感器以及视频图像处理器），地磁
学（磁力传感器，磁强计），传输能量的反射（红外激光雷达，超声
感器，以及微波雷达传感器），电磁感应（感应环检测器），以及振
擦电的、地震的以及惯性开关传感器）。MEMS加速计，陀
强计是运动传感器的实例。
达的程度。
集数据的设备。
执行该至少一个功能的同时保持的物体。
功能。
波传
动（摩
螺仪，以及磁
工作流：以软件实现的任务序列。
附图说明
参考下面的附图，本发明的上述和/或其他目的、特征和优点将通过本
发明实施例的示意性的和非限定性的详细描述来进一步阐述，其中：
图1示出了包括手持设备和显示器的该系统的实例。
图2示出了采用该手持设备以远程控制形式的用户界面功能的实例。
图3示出了该手持设备的实例。
图4示出了在手持设备和显示器之间交互的方法的流程图的实例。
具体实施方式
在下面的描述中，参考附图，其中附图以演示的方式示出了本发明是
如何实践的。
图1示出了包括手持设备和显示器的该系统的一个实例。该手持设备
本实施例中是口腔牙齿扫描仪，其记录病人牙齿的3D结构。操作者
着病人104的牙齿移动该扫描仪，用于捕获相关牙齿（例如全部牙
3D结构。扫描仪包括运动传感器（未示出），用于在形成被扫描牙
3D模型105的同时考虑扫描仪的运动。显示器101在本实施例中是
扫描仪记录的数据的PC屏幕。
图2示出了采用该手持设备的以远程控制形式的用户界面功能的实
过移动该手持设备100，手持设备100（例如扫描仪）中的运动传
（未示出）使得用户102可以确定显示器101（例如屏幕）上示出的
100在
102沿
齿的）
齿的
显示由
例。通
感器
视图。
图2a）示出了向下指设备100提供了从向下的视觉角度中示出被扫描
图2b）示出了在水平位置保持该扫描仪提供了同样水平地来自前方的
图3示出了手持设备的实例。
手持设备100在本实例中是具有手枪式手柄的口腔扫描仪。该扫描仪
体106以及适于插入病人口中的尖端108，该壳体106包括手枪式
107。在该实施例中，扫描仪还配备有按钮103，其是提供用户界
的附加元件。
图1、图2和图3所示的该实施例系统包括设备100和显示器101，
100是手持口腔扫描仪，显示器101是计算机屏幕。操作者102可
该设备
以是牙
功能是
上旋转、
能的集
包括壳
手柄部
面功能
视觉角度，使得被扫描牙齿的3D模型从前部示出。
牙齿的3D模型。
科医生，助手等等。在一个实施例中，设备100的动作执行或操作
记录某些口腔的3D结构，并且该用户界面功能是在计算机屏幕101
平移和缩放被扫描数据的3D模型105。设备100中的用户界面功
成可由运动传感器（未示出）提供，该运动传感器可以是扫描仪100
内的加速计，其读数确定由扫描仪100所获取的牙齿的3D模
幕上的显示方位，如图2a和2b所示。例如启动/停止扫描之
可由按钮103提供，如图3所示。在本实施例系统中，
用户的食指可以方便到达的地方。
型105在屏
类的其他功能，
按钮103位于其中
在图1中，牙科医生102采用两只手在扫描的同时来保持该口腔扫描
但是应该理解，该扫描仪100还可以在扫描的同时用一只手进行
仪100，
保持。
该设备100还可以采用一只或两只手来保持，同时改变3D模型105
器101中的透视图。图1所示的实施例因而演示了非接触式用户界
的优点，因为在许多诊所情形下，操作者102应保持双手洁净、消
甚至无菌。
3D用户界面功能可扩展到操作功能之外的单个位置中。对于上述的口
图4示出了在手持设备和显示器之间交互的方法的流程图的实例。
在步骤101中，通过该手持设备执行在物理3D环境中的至少一个动
动作可以是如图1所示的牙齿的扫描。
在步骤102中，该物理3D环境由该至少一个显示器进行可视化显示。
在步骤103中，在显示器上示出的所表示的3D环境的视图在显示器
该手持设备进行远程控制。这可以成为如图2所示的3D模型视觉
控制。
本方法中的所有步骤可以重复一次或多次。其中步骤执行的顺序可以
尽管某些实施例已经详细描述和示出，但是本发明并不局限于此，而
这可以是如图1所示的被扫描的牙齿的3D模型显示。
在显示
面功能
毒或者
腔扫描系统实例而言，该扫描操作在病人的口腔内执行，如图1所示，同
时用户界面功能更灵活地在扫描仪位于病人口腔之外时进行扩展，如图2
和3。
作。该
上通过
角度的
不同于上述的顺序，其在图中由虚线示出。如果该步骤中的一个或多个执
行多次，那么该步骤的顺序也可以是不同的。
还可以以所附权利要求限定的主题的范围内的其他方法实施。特别是，应
该理解，只要不脱离本发明的范围，可以采用其他实施例和进行结构上和
功能上的变形。
在设备权利要求中，枚举了几种装置，这些装置的几种可以由一种硬
应该强调，使用在本说明书中的术语“包括”用于指明所阐述的特征、
步骤或成分的出现，但是并不排除一个或多个其他特征、集成物、
成分或其组合的出现或添加。
上述以及下文中的方法的特征可以软件形式实现，并在数据处理系统
文献：
el,,，和的A Non-Contact Mouse for
Vogt S.,Khamene A.,Niemann H.,Sauer F.的An AR system with
intuitive user interface for manipulation and visualization of3D medical data，
.2004;98,pp.397-403。
Surgeon-Computer logy and Health Care12（3），2004
或由计算机可执行指令执行所导致的其他处理装置来实现。这些指令可以
是通过计算机网络从存储媒介或另一计算机加载到存储器中的程序代码
装置。该存储器例如RAM。可替换地，所述的特征可以通过代替软件的
硬件电路或者与软件组合来执行。
集成物、
步骤、
件或同款的硬件来实施。其事实仅仅是特定的测量值重新引用在互不相同
的从属权利要求中或描述在不同的实施例中，其并不显示为这些测量值的
组合不能一起使用。
实施例：
下面的实施例涉及由本文说明书所描述的系统的一个方面。
1.一种系统，包括手持设备和至少一个显示器，其中该手持设备适于
3D环境中执行至少一个动作，其中该至少一个显示器适于可视化
物理3D环境，并且其中该手持设备适于远程控制该视图，其中该
境可采用该视图表示在该显示器上。
2.根据上述实施例中的任何一个或多个实施例的系统，其中该视图定
位为视觉角度和/或视觉位置。
3.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设
于远程控制该放大，其中该3D环境采用该放大表示在该显示器上。
4.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设
改变该3D环境在该显示器上的显示。
5.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一
包括下列中的一个或多个：
-测量；
-记录；
-扫描；
-操作，和/或
在物理
表示该
3D环
备适用
备适于
个动作
-修正。
6.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环
一个或多个3D物体。
7.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设
由操作保持在一只手中。
8.根据上述实施例中的任何一个或多个实施例的系统，其中该显示器
多个视图中表示该3D环境。
9.根据上述实施例中的任何一个或多个实施例的系统，其中表示在该
个显示器中的3D环境的视图至少部分由保持所述设备的操作者的
动来确定。
10.根据上述实施例中的任何一个或多个实施例的系统，其中表示在
个显示器中的放大至少部分由保持所述设备的操作者的手的运动
11.根据上述实施例中的任何一个或多个实施例的系统，其中，该手
适于记录3D环境的3D结构。
12.根据上述实施例中的任何一个或多个实施例的系统，其中，该3D
环境的3D结构是现有技术公知的。
13.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
括至少一个用户界面元件。
14.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
境包括
备适于
适于从
至少一
手的运
至少一
来确定。
持设备
设备包
一个用
户界面元件是至少一个运动传感器。
15.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
括提供传感器联合的至少两个运动传感器。
16.根据上述实施例中的任何一个或多个实施例的系统，其中该用户
能包括使用手势。
17.根据上述实施例中的任何一个或多个实施例的系统，其中该手势
少一个运动传感器检测。
18.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
括除该至少一个运动传感器之外的至少一个用户界面元件。
19.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
他的用户界面元件是触敏式元件。
20.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
他的用户界面元件是按钮。
21.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
他的用户界面元件是滚轮。
22.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
于改变视觉角度，其中3D环境采用该视觉角度显示在该至少一个
上。
23.根据上述实施例中的任何一个实施例的系统，其中该手持设备适
放大因子，其中该3D环境采用该放大因子表示在该至少一个显示
设备包
界面功
由该至
设备包
一个其
一个其
一个其
设备适
显示器
于改变
器上。
24.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
于改变视觉位置，其中该3D环境采用该视觉位置显示在该至少一
个显示器上。
25.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环
图包括视觉角度、放大因子和/或视觉位置。
26.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环
图包括文本和/或阴影的显示。
27.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器分成多个区域，每个区域采用不同的视图来示出该3D环境。
28.根据上述实施例中的任何一个或多个实施例的系统，其中该3D结
该环境的3D表面。
29.根据上述实施例中的任何一个或多个实施例的系统，其中该3D结
该环境的3D立体表示。
30.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
口腔3D扫描仪。
31.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
外科手术仪器。
32.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
机械工具。
设备适
境的视
境的视
一个显
构包括
构包括
设备是
设备是
设备是
33.根据上述实施例中的任何一个或多个实施例的系统，其中该手持
耳内3D扫描仪。
34.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器设置成与该手持设备分开。
35.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器设置在手推车上。
36.根据上述实施例中的任何一个或多个实施例的系统，其中该至少
示器定义为第一显示器，并且其中该系统还包括第二显示器。
37.根据上述实施例中的任何一个或多个实施例的系统，其中该第二
设置在该手持设备上。
38.根据上述实施例中的任何一个或多个实施例的系统，其中该第二
设置在手持设备中这样的位置上：使得该显示器适于由操作者进行
同时该操作者操作该手持设备。
39.根据上述实施例中的任何一个或多个实施例的系统，其中该第二
显示该手持设备相对于该3D环境定位在哪。
40.根据上述实施例中的任何一个或多个实施例的系统，其中该第一
和/或第二显示器为操作者提供指令。
41.根据上述实施例中的任何一个或多个实施例的系统，其中将视频
除第一显示器之外的一个或多个装置上提供给操作者。
设备是
一个显
一个显
一个显
显示器
显示器
观察，
显示器
显示器
信息在
42.根据上述实施例中的任何一个或多个实施例的系统，其中将给操
音频信息提供给该操作者。
43.根据上述实施例中的任何一个或多个实施例的系统，其中该扫描
LED扫描、激光扫描、白光扫描、X射线扫描和/或CT扫描来执行。
44．一种在手持设备和至少一个显示器之间交互的方法，其中该方法
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制在显示器上所表示的3D环境的视图。
45.一种计算机程序产品，包括程序代码装置，其用于当所述程序代码
46.根据上述实施例的一种计算机程序产品，包括已经存储在程序代码
装置上的计算机可读取媒介。
包括下列步骤：
作者的
通过
装置在数据处理系统上执行时，使得数据处理系统执行上述实施例中任意
一个或多个实施例的方法。