2024年5月7日发(作者：恭幼白)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.3
(22)申请日 2013.12.02
(71)申请人 财团法人工业技术研究院
地址 中国台湾新竹县
(72)发明人 卢东宏 林星辰 李岳轩
(74)专利代理机构 中科专利商标代理有限责任公司
代理人 宋焰琴
(51)
G06F3/01
G06T7/00
(10)申请公布号 CN 104516496 A
(43)申请公布日 2015.04.15
权利要求说明书 说明书 幅图
(54)发明名称
方法
(57)摘要
本发明提供一种可调体感范围的多
可调体感范围的多人指引系统与其
人指引系统，通过多体感摄影机撷取深度
影像的缝合模块，以扩展体感范围，由此
建置出多人使用的虚拟应用情境，通过系
统一对多的动作指引模块，同时个别指引
玩家修正动作。通过扩展检测范围的多人
指引方法与系统支持，可在一大检测范围
内同时个别连续时刻比对多人动作相似度
计算与触发个别动作指引回馈功能，以延
伸更多更广的应用情境与商品开发，如虚
拟健身房、虚拟韵律教室及虚拟武道馆等
游戏。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种可调体感范围的多人指引系统，包括：
图像处理单元，用以并行地接收多个影像，并对所述影像进行深度影
用户动作撷取单元，对应于所述用户信息产生对应每一该用户信息对
多线程处理单元，将所述用户信息对应的所述深度串流动作影像及各
多人比对单元，耦接到该多线程处理单元，该多人比对单元接收所述
指引数据库，用以储存预先设定的多笔动作指引，并根据所述个人化
2.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
该多人比对单元包括一多人动作比对单元，耦接到该多线程处理单元，该
多人动作比对单元接收所述深度串流动作影像及各节点信息，并对所
度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流
比对分析，以作为所述个人化的比对分析结果。
节点信息并行地传出；
应的深度串流动作影像及各节点信息；
像缝合与用户骨架撷取，以取得多个用户信息；
深度串流动作影像及各节点信息，与该虚拟教练信息进行比对分析，以产
生多笔个人化的比对分析结果；以及
的比对分析结果输出对应所述个人化的比对分析结果的所述动作指引，以
显示所述动作指引。
述深
动作轨迹
3.如权利要求2所述的可调体感范围的多人指引系统，其特征在于，
虚拟教练动作信息单元，用以提供预先录制的所述虚拟教练信息；以
第一演算单元，耦接到该多线程处理单元与该虚拟教练动作信息单元，
4.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
该多人比对单元包括一多人重心比对单元，耦接到该多线程处理单元，该
多人重心比对单元接收所述深度串流动作影像及各节点信息，并同时
所述深度串流动作影像的重心，而
分析，以作为所述个人化的
及
该多人动作比对单元包括：
其中该第一演算单元用以同时进行所述深度串流动作轨迹与该虚拟教练
深度串流动作轨迹进行比对分析。
计算
后与该虚拟教练重心移转轨迹进行比对
比对分析结果。
5.如权利要求4所述的可调体感范围的多人指引系统，其特征在于，
虚拟教练重心计算单元，取得该虚拟教练信息并计算该虚拟教练信息
的虚拟教练深度串流影像的重心；
该多人重心比对单元包括：
用户重心计算单元，耦接到该多线程处理单元，该用户重心计算单元
第二演算单元，则是用以同时进行所述深度串流影像的重心与该虚拟
6.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
7.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
核心架构，用以接收所述影像，并对所述影像以一校准方程进行对准
深度影像自定义产生器，耦接到该核心架构，其中该深度影像自定义
该图像处理单元包括一可调式深度影像缝合单元，包括
还包括一传感器组用以检测并取得所述影像，输出到该图像处理单元，其
中该传感器组包括多个传感器，依照使用的环境需求而排列与配置。
接收所述深度串流动作影像及各节点信息，并同时计算所述深度串流影像
的重心；以及
教练深度串流影像的重心比对分析，并提供对应的个人化重心移转比对分
析结果，以作为所述个人化的比对分析结果。
程序，以校正所述影像的视角后，转换所述影像到真实世界坐标；以及
产生器将已经转换到该真实世界坐标的所述影像进行深度影像缝合操作
以完成所述自定义影像的深度影像缝合。
8.如权利要求7所述的可调体感范围的多人指引系统，其特征在于，
该图像处理单元包括一用户骨架撷取单元，耦接到该可调式深度影像缝合
单元，用以取得经由该深度影像缝合的所述影像，进行该用户骨架撷
序以取得所述用户信息的所述各节点信息。 取程
9.一种可调体感范围的多人指引方法，包括：
并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷
对应于所述用户信息产生对应每一该用户信息对应的深度串流动作
对所述深度串流动作影像及各节点信息与该虚拟教练信息进行比对
根据所述个人化的比对分析结果输出对应所述个人化的比对分析结
10.如权利要求9所述的方法，其特征在于，其中对所述深度串流动
果的所述动作指引，以显示所述动作指引。
分析，以产生多笔个人化的比对分析结果；以及
影像及各节点信息；
取，以取得多个用户信息；
作影像及各节点信息与该虚拟教练信息进行比对分析的步骤包括：
对所述深度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度
11.如权利要求10所述的方法，其特征在于，其中对所述深度串流
提供预先录制的所述虚拟教练信息；以及
同时进行所述深度串流动作轨迹与该虚拟教练深度串流动作轨迹进
12.如权利要求9所述的方法，其特征在于，其中对所述深度串流动
同时计算所述深度串流动作影像的重心，而后与该虚拟教练重心移转
13.如权利要求12所述的方法，其中计算所述深度串流动作影像的
轨迹进行比对分析，以作为所述个人化的比对分析结果。
作影像及各节点信息与该虚拟教练信息进行比对分析的步骤包括：
行比对分析。
串流动作轨迹比对分析，以作为所述个人化的比对分析结果。
动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流动作轨迹比对分
析的步骤包括：
重心，而后与该虚拟教练重心移转轨迹进行比对分析的步骤包括：
取得该虚拟教练信息并计算该虚拟教练信息的虚拟教练深度串流影
同时计算所述深度串流影像的重心；以及
同时进行所述深度串流影像的重心与该虚拟教练深度串流影像的重
14.如权利要求9所述的方法，其特征在于，其中并行地接收多个影
对所述影像以一校准方程进行对准程序，以校正所述影像的视角后，
将已经转换到该真实世界坐标的所述影像进行深度影像缝合操作以
15.如权利要求14所述的方法，其特征在于，其中对所述影像以一
使用特征抽取方法来检测所述影像中的每二个所述影像的多个特征
点，并使用最相近邻居搜寻法找出每二个所述影像中所述特征点对应的关
校准方程进行对准程序包括：
完成所述影像的深度影像缝合。
转换所述影像到真实世界坐标；以及
像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤包括
心比对分析，并提供对应的个人化重心移转比对分析结果，以作为所述个
人化的比对分析结果。
像的重心；
系；
根据所述特征值计算得到一判断值，若该判断值高于一临限值，则采
16.如权利要求15所述的方法，其特征在于，其中根据所述特征值
17.如权利要求15所述的方法，其特征在于，其中根据所述特征值
用所述特征值作为对准程序的依据进行校准。
计算得到该判断值考虑包括所述特征点的深度值会因距离太近而使每二
个所述影像中所述特征点重叠率不高而减少该判断值。
计算得到该判断值考虑包括将所述特征值搭配深度值转换至世界坐标，并
求出每二对应点的水平轴差值，对所有所述每二对应点的该水平轴差
行排序，取出两两成双的所述对应点，即为该判断值增加的所
值进
述对应点。
18.如权利要求14所述的方法，其特征在于，其中并行地接收多个
影像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤还包括
对经由该深度影像缝合的所述影像进行该用户骨架撷取程序以取得
所述用户信息的所述各节点信息。
说 明 书
技术领域
本发明涉及一种可调体感范围的多人指引系统与其方法。
背景技术
由于现代工商业社会的忙碌，因此人们对于适当运动日渐重视。近年来，多种运动
的兴起，人们由普通健身房单调的健身器材运动，转变为身体的全身运动，例如舞
蹈、有氧舞蹈或韵律体操等，通过全身的运动及多变的舞蹈跟动作，让人们在运动
时不致于单调，且更能持之以恒的运动。
而大部分的全身运动皆需要有教练来教学，亦即需要付教学费用至专属健身房。然
而，由于学员众多，教练常无法对个别学员的动作给予正确的指导，因此在学习时
其效果不彰，学员对于姿势的正确性亦不明了。
现阶段市售XBOX360所推出的游戏，虽能通过KINECT传感器捕捉玩家的身体动
作，让玩家于亲切的虚拟健身空间中接受专业的一对一健身课程，体验最真实的运
动乐趣。然而，虚拟私人教练课程仅针对一对一个别玩家的训练课程，进行片断时
刻的动作比对分数，无法以多人同时连续性时刻比对分数评估个别玩家姿势或动作
正确性。此外，以目前现有的单一KINECT传感器来说，红外线传感器能检测的
视角范围在水平方向只有57.5°，这将会造成研究、开发甚至是应用上的检测范围
受到限制。另外，绝大多数的技术仅针对多台RGB(红绿蓝)摄影机进行影像缝合技
术以提供扩展范围的影像。
发明内容
本发明提供一种可调体感范围的多人指引系统，包括图像处理单元、用户动作撷取
单元、多线程处理单元、多人比对单元以及指引数据库。所述图像处理单元用以并
行地接收多个影像，并对这些影像进行深度影像缝合与用户骨架撷取，以取得多个
用户信息。用户动作撷取单元对应于所述 用户信息产生对应每一用户信息对应的
深度串流动作影像及各节点信息。多线程处理单元将所述用户信息对应的深度串流
动作影像及各节点信息并行地传出。多人比对单元耦接到多线程处理单元，此多人
比对单元接收深度串流动作影像及各节点信息，与虚拟教练信息进行比对分析，以
产生多笔个人化的比对分析结果。指引数据库用以储存预先设定的多笔动作指引，
并根据个人化的比对分析结果输出对应所述个人化的比对分析结果的多个动作指引，
以显示这些动作指引。
本发明提供一种可调体感范围的多人指引方法，包括并行地接收多个影像，并对所
述影像进行深度影像缝合与用户骨架撷取，以取得多个用户信息。对应于所述用户
信息产生对应每一用户信息对应的深度串流动作影像及各节点信息。对所述深度串
流动作影像及各节点信息与虚拟教练信息进行比对分析，以产生多笔个人化的比对
分析结果。根据所述个人化的比对分析结果输出对应个人化的比对分析结果的多笔
动作指引，以显示动作指引。
附图说明
图1为用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系统的方
块示意图。
图2为运用本实施例的可调体感范围的多人指引系统的使用环境示意图。
图3为说明运用本实施例的可调体感范围的多人指引系统，以一对多的动作指引方
式提供个人化指引的示意图。
图4为说明可调体感范围的多人指引系统，以一对多的动作指引方式提供个人化指
引的虚拟应用情境示意图。
图5为用以说明本发明多个实施范例其中之一的传感器组配置布局的示意图。
图6为用以说明本发明多个实施范例其中之一的可调式深度影像缝合与用户骨架撷
取单元架构的示意图。
图7为用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系统中，
其方法流程示意图。
100：可调体感范围的多人指引系统
110：传感器组
110a～110c：传感器
120：可调式深度影像缝合与用户骨架撷取单元
130：用户动作撷取单元
140：多线程处理单元
150：多人动作比对单元
152：演算单元
154：虚拟教练动作信息单元
160：多人重心比对单元
162：用户重心计算单元
164：演算单元
166：虚拟教练重心计算单元
170：指引数据库
180：屏幕
210～214：体感摄影机1～M
220：计算机主机
222：可调体感范围的多人指引系统
230：屏幕
231～233：个人化指引1～M
310：深度影像缝合与骨架点撷取
320：动作比对元件
332a、334a、336a：教练指令
332b、334b、336b：遵从度
400：虚拟应用情境
410：虚拟教练
510、520：摄影机
610a、610b、610c：体感摄影机
620：动作感测单元
630：核心架构
632～636：核心架构步骤
638：缝合后的深度影像
640：深度影像自定义产生器
650：骨架产生器
660：用户信息
S710、S720～S728、S730、S740、S750、S752、S760：方法流程步骤
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照
附图，对本发明作进一步的详细说明。
针对目前体感系统仅能单人使用，亦即系统仅针对单一用户进行动作相似度计算以
及触发动作指引回馈的功能。本发明的发明人所提出“动作比对方法与动作比对系
统”专利(台湾地区申请案号101147275、美国申请案号13/849,535、及中国申请案
号2.X)即属此例，在此加入参照此案的内容作为动作比对方法的描述
内容。在此延伸上述的内容延伸提出支持多个用户骨架输入，并依个别用户进行动
作相似度计算及触发动作指引回馈的功能，由此开发多人指引技术实现应用于各种
情境。
通过扩展检测范围的多人指引方法与系统支持，可在一大检测范围内同时个别连续
时刻比对多人动作相似度计算与触发个别动作指引回馈功能，以延伸更多更广的应
用情境与商品开发，如虚拟健身房、虚拟韵律教室及虚拟武道馆等游戏。
本发明多个实施范例其中之一，提供一种可调体感范围的多人指引系统，通过多体
感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出多人使用的虚拟
应用情境，以系统一对多的动作指引模块，同时个别指引玩家修正动作。
请参照图1，用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系
统方块示意图。如图1所示，此可调体感范围的多人指引系统100包括图像处理单
元(例如图标的可调式深度影像缝合与用户骨架撷取单元120)、用户动作撷取单元
130、多线程处理单元140、多人动作比对单元150、多人重心比对单元160、指引
数据库170。此可调体感范围的 多人指引系统100可以包括传感器组110或是运用
外部设备既有的传感器组110。此可调体感范围的多人指引系统100的输出传送到
屏幕180显示相关的信息。底下将针对可调体感范围的多人指引系统100中的各个
单元实施范例进行说明。
传感器组110用以检测并取得影像，在这些影像中至少包括多个用户的影像。而传
感器组110如图所示包括多个传感器110a～110c，但并非以此为限制。另外，传
感器组110内的多个传感器可依照使用的环境需求而排列与配置。可调式深度影像
缝合与用户骨架撷取单元120，用以接收由传感器组110的多个传感器所传送来的
影像，并将接收的影像进行缝合运算，并撷取其中的用户信息，在本实施例中的用
户信息包括影像的深度信息与骨架节点的信息等等。用户动作撷取单元130用以撷
取缝合过后影像中的多个用户的深度串流动作影像及各节点信息。
而这些多个用户的深度串流动作影像及各节点信息则传送到多线程(Multithreading)
处理单元140，用以同时平行化处理多个线程(Threads)。此多线程(Multithreading)，
是指从软件或者硬件上实作多个线程并行执行的技术。具有多线程能力的处理器因
有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理效能。具有这
种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理(Chip-
level multithreading)或同时多线程(Simultaneous multithreading)处理器。软件多线程，
即便处理器只能执行一个线程，操作系统也可以通过快速的在不同线程之间进行切
换，由于时间间隔很小，造成一种多个线程同时执行的现象。这样的程序执行机制
被称为软件多线程。
多线程处理单元140则是将多个用户信息相关的深度串流动作影像及各节点信息分
别传送到多人动作比对单元150以及多人重心比对单元160。多人动作比对单元
150在一实施例中包括演算单元152与虚拟教练动作信息单元154。多人重心比对
单元160在一实施例中包括用户重心计算单元162、演算单元164、与虚拟教练重
心计算单元166。
在多人动作比对单元150中，虚拟教练动作信息单元154用以提供预先录制的虚拟
教练的深度串流动作影像及各节点信息，此可根据用户所选择的课程或节目的内容
而有所对应的信息。演算单元152则是用以同时进 行多个用户深度串流动作轨迹
与虚拟教练深度串流动作轨迹比对分析，并提供多个个人化比对分析结果。例如有
M个用户，即根据M个用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨
迹进行比对分析。
在多人重心比对单元160中，虚拟教练重心计算单元162连接到虚拟教练动作信息
单元154，用以计算虚拟教练深度串流影像的重心。用户重心计算单元162则是用
以同时计算多个个别用户深度串流影像的重心。演算单元164则是用以同时进行多
个个别用户重心虚实移转轨迹与虚拟教练重心虚实移转轨迹比对分析，并提供对应
的个人化重心移转比对分析结果。
指引数据库170用以储存预先设定好的动作指引建议，例如动作快慢高低，重心移
转快慢方向等等，依据个人化比对分析结果及个人化重心移转比对分析结果，搜寻
并回馈适当的动作指引建议。可调体感范围的多人指引系统100的输出传送到屏幕
180以显示相关的信息。屏幕180用以显示多个个人化动作指引建议，提供给多个
用户进行动作修正。
利用图1的可调体感范围的多人指引系统，可以提供一种可调体感范围的多人指引
系统，通过多体感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出
多人使用的虚拟应用情境，以系统一对多的动作指引模块，同时个别指引玩家修正
动作。
请参照图2，为运用本实施例的可调体感范围的多人指引系统的使用环境示意图。
有N个用户(图中所示的用户1～用户N)，而有多个传感器，例如图标中所显示的
M个体感摄影机(Motion Sensing Camera)，在此以体感摄影机210～214为例，但并
非以此为限制。N个用户于可调体感范围的多体感摄影机设计环境下，跟随屏幕中
的虚拟教练进行运动。
由M个体感摄影机截取的影像数据传送到计算机主机220，此计算机主机220内
配置有本实施例所提出的可调体感范围的多人指引系统222，此多人指引系统222
可以运用计算机220内部的硬件架构所执行，或是配置在独立的硬件架构中皆属本
实施例可运用的范围。根据体感摄影机210～214所取得的影像，经由多人指引系
统222的虚拟应用情境，将这些信息输出到屏幕230中显示，以一对多的动作指引
方式，同时个别指引玩家修正动作。如图所示，屏幕230中显示个人化指引1～个
人化指引N，在此以个人化指引231～233为例，分别对应提供这些信息给N个用
户。
进行运动过程中，可通过一用户动作撷取单元所输入的新缝合深度影像中，同时撷
取N个用户的深度串流动作影像及各骨架节点信息。另外，虚拟教练动作信息单
元，用以提供录制的虚拟教练的深度串流动作影像及各骨架节点信息。通过多线程
处理单元，处理N个个别用户骨架输入至单一的演算单元进行连续时刻的相似度
动作比对，依其虚拟教练的动作轨迹及N个个别用户动作轨迹以轨迹方向、轨迹
速度、轨迹距离，进行个别动作比对分析。另一方面，多线程处理单元亦处理N
个个别用户深度影像输入至用户重心计算单元，及虚拟教练动作信息单元提供深度
影像输入至虚拟教练重心计算单元，通过演算单元同时比对重心移转分析结果；并
且依据个人化比对分析结果及个人化重心移转比对分析结果，搜寻储存动作指引建
议的一指引数据库并回馈适当的N个个人化指引至一屏幕以显示给用户。
请参照图3，为说明运用本实施例的可调体感范围的多人指引系统，以一对多的动
作指引方式提供个人化指引的示意图。N个用户跟随着教练一起进行特定的动作。
而经由多个传感器感应取得影像后，取得N个用户的用户信息，例如包括用户的
深度影像信息与骨架节点信息等等(如步骤310)。而后经由比对运算后(如步骤320)，
输出个人化指引的信息。上述比对运算在多个实施范例其中之一，包括将多人动作
与虚拟教练动作信息的动作的比对，例如根据用户深度串流动作轨迹与对应的虚拟
教练深度串流动作轨迹进行比对分析。在经过比对运算后(如步骤320)，产生并经
由屏幕显示针对个别用户的个人化指引信息，例如对于用户1提供包括教练指令
332a以及遵从度信息332b、对于用户2提供包括教练指令334a以及遵从度信息
334b、以及对用户N提供包括教练指令336a以及遵从度信息336b。
上述比对运算在多个实施范例其中之一，也可以是重心比对。在取得N个用户的
用户信息，例如深度影像信息与骨架节点信息之后，可以进行重心比对。首先，先
计算虚拟教练深度串流影像的重心以及同时计算个别用户深度串流影像的重心。而
后同时进行多个个别用户重心虚实移转轨迹与虚拟教练重心虚实移转轨迹比对分析，
并提供对应的个人化重心移转比 对分析结果。在另一实施例中，也可以同时并行
地根据取得的用户信息进行动作及重心的比对。
请参照图4，为说明可调体感范围的多人指引系统，以一对多的动作指引方式提供
个人化指引的虚拟应用情境示意图。假设此虚拟应用情境400中的虚拟教练410显
示一个动作，而用户1～用户3分别跟着虚拟教练410作出对应的动作，经由多人
指引系统取得用户的用户信息，例如包括用户的深度影像信息与骨架节点信息等等，
并经过比对后(例如根据用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨
迹进行比对，或是重心的比对)后，在屏幕上分别显示针对每个用户的个人化指引
信息，例如用户1比对结果为95％，因为结果符合标准，所以不需要提供进一步
的教练指令。用户3的比对结果为45％，因为结果不符合标准，所以需要提供进
一步的教练指令，例如图标中的两脚靠近点。用户2的比对结果为60％，因为结
果不符合标准，所以需要提供进一步的教练指令，例如图标中的右手低一点。
紧接着，将针对可调体感范围的多人指引系统中的相关的单元作一详细介绍。
请参照图5，用以说明本发明多个实施范例其中之一的传感器组配置布局示意图。
传感器组用以检测并取得影像，在这些影像中至少包括多个用户的影像，而其配置
方式可以依照使用环境的不同而有不一样的配置。在此实施例是说明以多体感摄影
机的二摄影机510与520为例的放置环境，目前已知体感摄影机在水平(X轴)方向
的检测范围为57.5°，且根据规格的要求，双体感摄影机平行放置于同一高度(Y轴)，
视角必须一致，且检测的深度范围(Z轴)在1.5公尺之后有效。故可得此二个体感
摄影机510与520间的距离至少应为1.65公尺。
请参照图6，用以说明本发明多个实施范例其中之一的可调式深度影像缝合与用户
骨架撷取单元架构示意图。当动作感测单元620取得多部体感摄影机610a、610b、
610c的深度信息后，会由其核心架构630进行讯号的处理，包括通过核心架构630
中的步骤632，根据先前假设的多体感摄影机位置可以得知多组真实世界坐标的对
应点，由校准(Calibration)方程来进行对准程序，也就是校正多体感摄影机的视角，
再将对齐后的数据投 影为新的深度信息，转换到真实世界的坐标，如步骤634。上
述步骤完成后可进一步包含移除被遮蔽的物体(Hidden Surface Removal)，如步骤
636。新的深度信息将会以Meta Data的格式，如通过深度影像自定义
(Depth Image Configuration)产生器640将数据传入骨架产生器650，以取得用户信
息660。
上述的校准(Calibration)方程为多体感摄影机的视角校正的方程。在本发明多个实
施范例其中之一，包括以下的步骤。首先，使用特征抽取(Feature Extraction)方法
来检测每二体感摄影机中RGB影像的特征点，并使用最相近邻居搜寻法
(Nearest Neighbors Search)找出每二RGB影像中特征点对应的关系。再根据以下条
件：1)特征点的深度值会因距离太近每二影像重叠率不高。2)在水平(X轴)方向，
左影像左边像素以及右影像右边像素上的特征点视为无效，因为重叠率不高。3)每
二对应点在两RGB影像中，垂直(Y轴)的差值不应过大。4)所有每二对应点所形成
的位置分布应为一致。5)将特征点搭配深度值转换至世界坐标，并求出每二对应点
的X轴差值，对所有每二对应点的X轴差值进行排序，取出两两成双的对应点，
即为正确率较高的对应点。上述步骤进行直到正确率较高的对应点出现即可停止，
此正确率较高可采用一临限值加以判断。
上述所得到的每二对应点可分为两组，第一组为影像A的特征点，第二组为影像
B的特征点。以第一组的特征点为基准，将第二组特征点分别对水平(X轴)与垂直
(Y轴)方向旋转，计算出两组特征点在世界坐标中最近距离的角度，即可对影像B
做视角校正的动作，并完成每二组影像作视角校正前后差异比较的图示。最后，取
得每二组影像校正并缝合后的深度影像638。将上述每二组影像校正缝合后所得到
缝合后的深度影像638，以Meta Data的格式，通过深度影像自定义产生器640将
数据传入用户的骨架产生器650，以取得用户信息，并可追踪用户骨架。因此，最
后能于缝合后的深度影像638中可同样追踪撷取用户深度影像及骨架。
由上可知，目前已解决单一体感摄影机受限于水平(X)视角57.5°的范围，可以动态
调整并扩展体感检测范围。紧接者，将针对目前仅能单一用户使用体感系统的问题，
进行多个用户骨架输入单一相似度动作比对元件，并依个别用户计算个别的动作相
似度及动作指引，如图3所示。
请参照图7，用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系
统中，其方法流程示意图。首先，步骤S710，N个用户于可调体感范围的多体感
摄影机设计环境下，跟随屏幕中的虚拟教练进行运动。步骤S720为可调式深度影
像缝合与用户骨架撷取的流程图，包括步骤S722～S728。
步骤S722，多体感摄影机各自撷取视角范围内深度影像(包含环境影像与N个用户
影像)，并将个别的深度信息转换为真实世界的坐标。步骤S724，若考虑多体感摄
影机视角未对齐的情况，经Calibration方程可校正对齐。步骤S726，由多体感摄
影机位置可得知多组真实世界坐标的对应点，进而将其对齐并缝合成新的深度扩展
影像(此步骤包含了移除被遮蔽的物体)。步骤S728，新的深度扩展影像将以
Meta Data的格式通过动作感测单元的核心架构取得用户的信息。步骤S730，检测
N个用户的深度串流动作影像及骨架中多个节点信息。
步骤S740为通过多线程平行处理N个用户骨架中多个节点信息。步骤S752为提
供一录制的虚拟教练的深度串流动作及骨架中多个节点信息。步骤S750为提供一
动作比对与指引方式及重心比对方式，N个个别用户及虚拟教练进行动作轨迹比对
分析、重心移转比对分析，进而实时回馈指引。步骤S760为个别回馈N个个人化
指引提供给用户动作修正。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细
说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，
凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在
本发明的保护范围之内。
2024年5月7日发(作者：恭幼白)
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(21)申请号 CN2.3
(22)申请日 2013.12.02
(71)申请人 财团法人工业技术研究院
地址 中国台湾新竹县
(72)发明人 卢东宏 林星辰 李岳轩
(74)专利代理机构 中科专利商标代理有限责任公司
代理人 宋焰琴
(51)
G06F3/01
G06T7/00
(10)申请公布号 CN 104516496 A
(43)申请公布日 2015.04.15
权利要求说明书 说明书 幅图
(54)发明名称
方法
(57)摘要
本发明提供一种可调体感范围的多
可调体感范围的多人指引系统与其
人指引系统，通过多体感摄影机撷取深度
影像的缝合模块，以扩展体感范围，由此
建置出多人使用的虚拟应用情境，通过系
统一对多的动作指引模块，同时个别指引
玩家修正动作。通过扩展检测范围的多人
指引方法与系统支持，可在一大检测范围
内同时个别连续时刻比对多人动作相似度
计算与触发个别动作指引回馈功能，以延
伸更多更广的应用情境与商品开发，如虚
拟健身房、虚拟韵律教室及虚拟武道馆等
游戏。
法律状态
法律状态公告日
法律状态信息
法律状态
权 利 要 求 说 明 书
1.一种可调体感范围的多人指引系统，包括：
图像处理单元，用以并行地接收多个影像，并对所述影像进行深度影
用户动作撷取单元，对应于所述用户信息产生对应每一该用户信息对
多线程处理单元，将所述用户信息对应的所述深度串流动作影像及各
多人比对单元，耦接到该多线程处理单元，该多人比对单元接收所述
指引数据库，用以储存预先设定的多笔动作指引，并根据所述个人化
2.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
该多人比对单元包括一多人动作比对单元，耦接到该多线程处理单元，该
多人动作比对单元接收所述深度串流动作影像及各节点信息，并对所
度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流
比对分析，以作为所述个人化的比对分析结果。
节点信息并行地传出；
应的深度串流动作影像及各节点信息；
像缝合与用户骨架撷取，以取得多个用户信息；
深度串流动作影像及各节点信息，与该虚拟教练信息进行比对分析，以产
生多笔个人化的比对分析结果；以及
的比对分析结果输出对应所述个人化的比对分析结果的所述动作指引，以
显示所述动作指引。
述深
动作轨迹
3.如权利要求2所述的可调体感范围的多人指引系统，其特征在于，
虚拟教练动作信息单元，用以提供预先录制的所述虚拟教练信息；以
第一演算单元，耦接到该多线程处理单元与该虚拟教练动作信息单元，
4.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
该多人比对单元包括一多人重心比对单元，耦接到该多线程处理单元，该
多人重心比对单元接收所述深度串流动作影像及各节点信息，并同时
所述深度串流动作影像的重心，而
分析，以作为所述个人化的
及
该多人动作比对单元包括：
其中该第一演算单元用以同时进行所述深度串流动作轨迹与该虚拟教练
深度串流动作轨迹进行比对分析。
计算
后与该虚拟教练重心移转轨迹进行比对
比对分析结果。
5.如权利要求4所述的可调体感范围的多人指引系统，其特征在于，
虚拟教练重心计算单元，取得该虚拟教练信息并计算该虚拟教练信息
的虚拟教练深度串流影像的重心；
该多人重心比对单元包括：
用户重心计算单元，耦接到该多线程处理单元，该用户重心计算单元
第二演算单元，则是用以同时进行所述深度串流影像的重心与该虚拟
6.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
7.如权利要求1所述的可调体感范围的多人指引系统，其特征在于，
核心架构，用以接收所述影像，并对所述影像以一校准方程进行对准
深度影像自定义产生器，耦接到该核心架构，其中该深度影像自定义
该图像处理单元包括一可调式深度影像缝合单元，包括
还包括一传感器组用以检测并取得所述影像，输出到该图像处理单元，其
中该传感器组包括多个传感器，依照使用的环境需求而排列与配置。
接收所述深度串流动作影像及各节点信息，并同时计算所述深度串流影像
的重心；以及
教练深度串流影像的重心比对分析，并提供对应的个人化重心移转比对分
析结果，以作为所述个人化的比对分析结果。
程序，以校正所述影像的视角后，转换所述影像到真实世界坐标；以及
产生器将已经转换到该真实世界坐标的所述影像进行深度影像缝合操作
以完成所述自定义影像的深度影像缝合。
8.如权利要求7所述的可调体感范围的多人指引系统，其特征在于，
该图像处理单元包括一用户骨架撷取单元，耦接到该可调式深度影像缝合
单元，用以取得经由该深度影像缝合的所述影像，进行该用户骨架撷
序以取得所述用户信息的所述各节点信息。 取程
9.一种可调体感范围的多人指引方法，包括：
并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷
对应于所述用户信息产生对应每一该用户信息对应的深度串流动作
对所述深度串流动作影像及各节点信息与该虚拟教练信息进行比对
根据所述个人化的比对分析结果输出对应所述个人化的比对分析结
10.如权利要求9所述的方法，其特征在于，其中对所述深度串流动
果的所述动作指引，以显示所述动作指引。
分析，以产生多笔个人化的比对分析结果；以及
影像及各节点信息；
取，以取得多个用户信息；
作影像及各节点信息与该虚拟教练信息进行比对分析的步骤包括：
对所述深度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度
11.如权利要求10所述的方法，其特征在于，其中对所述深度串流
提供预先录制的所述虚拟教练信息；以及
同时进行所述深度串流动作轨迹与该虚拟教练深度串流动作轨迹进
12.如权利要求9所述的方法，其特征在于，其中对所述深度串流动
同时计算所述深度串流动作影像的重心，而后与该虚拟教练重心移转
13.如权利要求12所述的方法，其中计算所述深度串流动作影像的
轨迹进行比对分析，以作为所述个人化的比对分析结果。
作影像及各节点信息与该虚拟教练信息进行比对分析的步骤包括：
行比对分析。
串流动作轨迹比对分析，以作为所述个人化的比对分析结果。
动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流动作轨迹比对分
析的步骤包括：
重心，而后与该虚拟教练重心移转轨迹进行比对分析的步骤包括：
取得该虚拟教练信息并计算该虚拟教练信息的虚拟教练深度串流影
同时计算所述深度串流影像的重心；以及
同时进行所述深度串流影像的重心与该虚拟教练深度串流影像的重
14.如权利要求9所述的方法，其特征在于，其中并行地接收多个影
对所述影像以一校准方程进行对准程序，以校正所述影像的视角后，
将已经转换到该真实世界坐标的所述影像进行深度影像缝合操作以
15.如权利要求14所述的方法，其特征在于，其中对所述影像以一
使用特征抽取方法来检测所述影像中的每二个所述影像的多个特征
点，并使用最相近邻居搜寻法找出每二个所述影像中所述特征点对应的关
校准方程进行对准程序包括：
完成所述影像的深度影像缝合。
转换所述影像到真实世界坐标；以及
像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤包括
心比对分析，并提供对应的个人化重心移转比对分析结果，以作为所述个
人化的比对分析结果。
像的重心；
系；
根据所述特征值计算得到一判断值，若该判断值高于一临限值，则采
16.如权利要求15所述的方法，其特征在于，其中根据所述特征值
17.如权利要求15所述的方法，其特征在于，其中根据所述特征值
用所述特征值作为对准程序的依据进行校准。
计算得到该判断值考虑包括所述特征点的深度值会因距离太近而使每二
个所述影像中所述特征点重叠率不高而减少该判断值。
计算得到该判断值考虑包括将所述特征值搭配深度值转换至世界坐标，并
求出每二对应点的水平轴差值，对所有所述每二对应点的该水平轴差
行排序，取出两两成双的所述对应点，即为该判断值增加的所
值进
述对应点。
18.如权利要求14所述的方法，其特征在于，其中并行地接收多个
影像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤还包括
对经由该深度影像缝合的所述影像进行该用户骨架撷取程序以取得
所述用户信息的所述各节点信息。
说 明 书
技术领域
本发明涉及一种可调体感范围的多人指引系统与其方法。
背景技术
由于现代工商业社会的忙碌，因此人们对于适当运动日渐重视。近年来，多种运动
的兴起，人们由普通健身房单调的健身器材运动，转变为身体的全身运动，例如舞
蹈、有氧舞蹈或韵律体操等，通过全身的运动及多变的舞蹈跟动作，让人们在运动
时不致于单调，且更能持之以恒的运动。
而大部分的全身运动皆需要有教练来教学，亦即需要付教学费用至专属健身房。然
而，由于学员众多，教练常无法对个别学员的动作给予正确的指导，因此在学习时
其效果不彰，学员对于姿势的正确性亦不明了。
现阶段市售XBOX360所推出的游戏，虽能通过KINECT传感器捕捉玩家的身体动
作，让玩家于亲切的虚拟健身空间中接受专业的一对一健身课程，体验最真实的运
动乐趣。然而，虚拟私人教练课程仅针对一对一个别玩家的训练课程，进行片断时
刻的动作比对分数，无法以多人同时连续性时刻比对分数评估个别玩家姿势或动作
正确性。此外，以目前现有的单一KINECT传感器来说，红外线传感器能检测的
视角范围在水平方向只有57.5°，这将会造成研究、开发甚至是应用上的检测范围
受到限制。另外，绝大多数的技术仅针对多台RGB(红绿蓝)摄影机进行影像缝合技
术以提供扩展范围的影像。
发明内容
本发明提供一种可调体感范围的多人指引系统，包括图像处理单元、用户动作撷取
单元、多线程处理单元、多人比对单元以及指引数据库。所述图像处理单元用以并
行地接收多个影像，并对这些影像进行深度影像缝合与用户骨架撷取，以取得多个
用户信息。用户动作撷取单元对应于所述 用户信息产生对应每一用户信息对应的
深度串流动作影像及各节点信息。多线程处理单元将所述用户信息对应的深度串流
动作影像及各节点信息并行地传出。多人比对单元耦接到多线程处理单元，此多人
比对单元接收深度串流动作影像及各节点信息，与虚拟教练信息进行比对分析，以
产生多笔个人化的比对分析结果。指引数据库用以储存预先设定的多笔动作指引，
并根据个人化的比对分析结果输出对应所述个人化的比对分析结果的多个动作指引，
以显示这些动作指引。
本发明提供一种可调体感范围的多人指引方法，包括并行地接收多个影像，并对所
述影像进行深度影像缝合与用户骨架撷取，以取得多个用户信息。对应于所述用户
信息产生对应每一用户信息对应的深度串流动作影像及各节点信息。对所述深度串
流动作影像及各节点信息与虚拟教练信息进行比对分析，以产生多笔个人化的比对
分析结果。根据所述个人化的比对分析结果输出对应个人化的比对分析结果的多笔
动作指引，以显示动作指引。
附图说明
图1为用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系统的方
块示意图。
图2为运用本实施例的可调体感范围的多人指引系统的使用环境示意图。
图3为说明运用本实施例的可调体感范围的多人指引系统，以一对多的动作指引方
式提供个人化指引的示意图。
图4为说明可调体感范围的多人指引系统，以一对多的动作指引方式提供个人化指
引的虚拟应用情境示意图。
图5为用以说明本发明多个实施范例其中之一的传感器组配置布局的示意图。
图6为用以说明本发明多个实施范例其中之一的可调式深度影像缝合与用户骨架撷
取单元架构的示意图。
图7为用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系统中，
其方法流程示意图。
100：可调体感范围的多人指引系统
110：传感器组
110a～110c：传感器
120：可调式深度影像缝合与用户骨架撷取单元
130：用户动作撷取单元
140：多线程处理单元
150：多人动作比对单元
152：演算单元
154：虚拟教练动作信息单元
160：多人重心比对单元
162：用户重心计算单元
164：演算单元
166：虚拟教练重心计算单元
170：指引数据库
180：屏幕
210～214：体感摄影机1～M
220：计算机主机
222：可调体感范围的多人指引系统
230：屏幕
231～233：个人化指引1～M
310：深度影像缝合与骨架点撷取
320：动作比对元件
332a、334a、336a：教练指令
332b、334b、336b：遵从度
400：虚拟应用情境
410：虚拟教练
510、520：摄影机
610a、610b、610c：体感摄影机
620：动作感测单元
630：核心架构
632～636：核心架构步骤
638：缝合后的深度影像
640：深度影像自定义产生器
650：骨架产生器
660：用户信息
S710、S720～S728、S730、S740、S750、S752、S760：方法流程步骤
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照
附图，对本发明作进一步的详细说明。
针对目前体感系统仅能单人使用，亦即系统仅针对单一用户进行动作相似度计算以
及触发动作指引回馈的功能。本发明的发明人所提出“动作比对方法与动作比对系
统”专利(台湾地区申请案号101147275、美国申请案号13/849,535、及中国申请案
号2.X)即属此例，在此加入参照此案的内容作为动作比对方法的描述
内容。在此延伸上述的内容延伸提出支持多个用户骨架输入，并依个别用户进行动
作相似度计算及触发动作指引回馈的功能，由此开发多人指引技术实现应用于各种
情境。
通过扩展检测范围的多人指引方法与系统支持，可在一大检测范围内同时个别连续
时刻比对多人动作相似度计算与触发个别动作指引回馈功能，以延伸更多更广的应
用情境与商品开发，如虚拟健身房、虚拟韵律教室及虚拟武道馆等游戏。
本发明多个实施范例其中之一，提供一种可调体感范围的多人指引系统，通过多体
感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出多人使用的虚拟
应用情境，以系统一对多的动作指引模块，同时个别指引玩家修正动作。
请参照图1，用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系
统方块示意图。如图1所示，此可调体感范围的多人指引系统100包括图像处理单
元(例如图标的可调式深度影像缝合与用户骨架撷取单元120)、用户动作撷取单元
130、多线程处理单元140、多人动作比对单元150、多人重心比对单元160、指引
数据库170。此可调体感范围的 多人指引系统100可以包括传感器组110或是运用
外部设备既有的传感器组110。此可调体感范围的多人指引系统100的输出传送到
屏幕180显示相关的信息。底下将针对可调体感范围的多人指引系统100中的各个
单元实施范例进行说明。
传感器组110用以检测并取得影像，在这些影像中至少包括多个用户的影像。而传
感器组110如图所示包括多个传感器110a～110c，但并非以此为限制。另外，传
感器组110内的多个传感器可依照使用的环境需求而排列与配置。可调式深度影像
缝合与用户骨架撷取单元120，用以接收由传感器组110的多个传感器所传送来的
影像，并将接收的影像进行缝合运算，并撷取其中的用户信息，在本实施例中的用
户信息包括影像的深度信息与骨架节点的信息等等。用户动作撷取单元130用以撷
取缝合过后影像中的多个用户的深度串流动作影像及各节点信息。
而这些多个用户的深度串流动作影像及各节点信息则传送到多线程(Multithreading)
处理单元140，用以同时平行化处理多个线程(Threads)。此多线程(Multithreading)，
是指从软件或者硬件上实作多个线程并行执行的技术。具有多线程能力的处理器因
有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理效能。具有这
种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理(Chip-
level multithreading)或同时多线程(Simultaneous multithreading)处理器。软件多线程，
即便处理器只能执行一个线程，操作系统也可以通过快速的在不同线程之间进行切
换，由于时间间隔很小，造成一种多个线程同时执行的现象。这样的程序执行机制
被称为软件多线程。
多线程处理单元140则是将多个用户信息相关的深度串流动作影像及各节点信息分
别传送到多人动作比对单元150以及多人重心比对单元160。多人动作比对单元
150在一实施例中包括演算单元152与虚拟教练动作信息单元154。多人重心比对
单元160在一实施例中包括用户重心计算单元162、演算单元164、与虚拟教练重
心计算单元166。
在多人动作比对单元150中，虚拟教练动作信息单元154用以提供预先录制的虚拟
教练的深度串流动作影像及各节点信息，此可根据用户所选择的课程或节目的内容
而有所对应的信息。演算单元152则是用以同时进 行多个用户深度串流动作轨迹
与虚拟教练深度串流动作轨迹比对分析，并提供多个个人化比对分析结果。例如有
M个用户，即根据M个用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨
迹进行比对分析。
在多人重心比对单元160中，虚拟教练重心计算单元162连接到虚拟教练动作信息
单元154，用以计算虚拟教练深度串流影像的重心。用户重心计算单元162则是用
以同时计算多个个别用户深度串流影像的重心。演算单元164则是用以同时进行多
个个别用户重心虚实移转轨迹与虚拟教练重心虚实移转轨迹比对分析，并提供对应
的个人化重心移转比对分析结果。
指引数据库170用以储存预先设定好的动作指引建议，例如动作快慢高低，重心移
转快慢方向等等，依据个人化比对分析结果及个人化重心移转比对分析结果，搜寻
并回馈适当的动作指引建议。可调体感范围的多人指引系统100的输出传送到屏幕
180以显示相关的信息。屏幕180用以显示多个个人化动作指引建议，提供给多个
用户进行动作修正。
利用图1的可调体感范围的多人指引系统，可以提供一种可调体感范围的多人指引
系统，通过多体感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出
多人使用的虚拟应用情境，以系统一对多的动作指引模块，同时个别指引玩家修正
动作。
请参照图2，为运用本实施例的可调体感范围的多人指引系统的使用环境示意图。
有N个用户(图中所示的用户1～用户N)，而有多个传感器，例如图标中所显示的
M个体感摄影机(Motion Sensing Camera)，在此以体感摄影机210～214为例，但并
非以此为限制。N个用户于可调体感范围的多体感摄影机设计环境下，跟随屏幕中
的虚拟教练进行运动。
由M个体感摄影机截取的影像数据传送到计算机主机220，此计算机主机220内
配置有本实施例所提出的可调体感范围的多人指引系统222，此多人指引系统222
可以运用计算机220内部的硬件架构所执行，或是配置在独立的硬件架构中皆属本
实施例可运用的范围。根据体感摄影机210～214所取得的影像，经由多人指引系
统222的虚拟应用情境，将这些信息输出到屏幕230中显示，以一对多的动作指引
方式，同时个别指引玩家修正动作。如图所示，屏幕230中显示个人化指引1～个
人化指引N，在此以个人化指引231～233为例，分别对应提供这些信息给N个用
户。
进行运动过程中，可通过一用户动作撷取单元所输入的新缝合深度影像中，同时撷
取N个用户的深度串流动作影像及各骨架节点信息。另外，虚拟教练动作信息单
元，用以提供录制的虚拟教练的深度串流动作影像及各骨架节点信息。通过多线程
处理单元，处理N个个别用户骨架输入至单一的演算单元进行连续时刻的相似度
动作比对，依其虚拟教练的动作轨迹及N个个别用户动作轨迹以轨迹方向、轨迹
速度、轨迹距离，进行个别动作比对分析。另一方面，多线程处理单元亦处理N
个个别用户深度影像输入至用户重心计算单元，及虚拟教练动作信息单元提供深度
影像输入至虚拟教练重心计算单元，通过演算单元同时比对重心移转分析结果；并
且依据个人化比对分析结果及个人化重心移转比对分析结果，搜寻储存动作指引建
议的一指引数据库并回馈适当的N个个人化指引至一屏幕以显示给用户。
请参照图3，为说明运用本实施例的可调体感范围的多人指引系统，以一对多的动
作指引方式提供个人化指引的示意图。N个用户跟随着教练一起进行特定的动作。
而经由多个传感器感应取得影像后，取得N个用户的用户信息，例如包括用户的
深度影像信息与骨架节点信息等等(如步骤310)。而后经由比对运算后(如步骤320)，
输出个人化指引的信息。上述比对运算在多个实施范例其中之一，包括将多人动作
与虚拟教练动作信息的动作的比对，例如根据用户深度串流动作轨迹与对应的虚拟
教练深度串流动作轨迹进行比对分析。在经过比对运算后(如步骤320)，产生并经
由屏幕显示针对个别用户的个人化指引信息，例如对于用户1提供包括教练指令
332a以及遵从度信息332b、对于用户2提供包括教练指令334a以及遵从度信息
334b、以及对用户N提供包括教练指令336a以及遵从度信息336b。
上述比对运算在多个实施范例其中之一，也可以是重心比对。在取得N个用户的
用户信息，例如深度影像信息与骨架节点信息之后，可以进行重心比对。首先，先
计算虚拟教练深度串流影像的重心以及同时计算个别用户深度串流影像的重心。而
后同时进行多个个别用户重心虚实移转轨迹与虚拟教练重心虚实移转轨迹比对分析，
并提供对应的个人化重心移转比 对分析结果。在另一实施例中，也可以同时并行
地根据取得的用户信息进行动作及重心的比对。
请参照图4，为说明可调体感范围的多人指引系统，以一对多的动作指引方式提供
个人化指引的虚拟应用情境示意图。假设此虚拟应用情境400中的虚拟教练410显
示一个动作，而用户1～用户3分别跟着虚拟教练410作出对应的动作，经由多人
指引系统取得用户的用户信息，例如包括用户的深度影像信息与骨架节点信息等等，
并经过比对后(例如根据用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨
迹进行比对，或是重心的比对)后，在屏幕上分别显示针对每个用户的个人化指引
信息，例如用户1比对结果为95％，因为结果符合标准，所以不需要提供进一步
的教练指令。用户3的比对结果为45％，因为结果不符合标准，所以需要提供进
一步的教练指令，例如图标中的两脚靠近点。用户2的比对结果为60％，因为结
果不符合标准，所以需要提供进一步的教练指令，例如图标中的右手低一点。
紧接着，将针对可调体感范围的多人指引系统中的相关的单元作一详细介绍。
请参照图5，用以说明本发明多个实施范例其中之一的传感器组配置布局示意图。
传感器组用以检测并取得影像，在这些影像中至少包括多个用户的影像，而其配置
方式可以依照使用环境的不同而有不一样的配置。在此实施例是说明以多体感摄影
机的二摄影机510与520为例的放置环境，目前已知体感摄影机在水平(X轴)方向
的检测范围为57.5°，且根据规格的要求，双体感摄影机平行放置于同一高度(Y轴)，
视角必须一致，且检测的深度范围(Z轴)在1.5公尺之后有效。故可得此二个体感
摄影机510与520间的距离至少应为1.65公尺。
请参照图6，用以说明本发明多个实施范例其中之一的可调式深度影像缝合与用户
骨架撷取单元架构示意图。当动作感测单元620取得多部体感摄影机610a、610b、
610c的深度信息后，会由其核心架构630进行讯号的处理，包括通过核心架构630
中的步骤632，根据先前假设的多体感摄影机位置可以得知多组真实世界坐标的对
应点，由校准(Calibration)方程来进行对准程序，也就是校正多体感摄影机的视角，
再将对齐后的数据投 影为新的深度信息，转换到真实世界的坐标，如步骤634。上
述步骤完成后可进一步包含移除被遮蔽的物体(Hidden Surface Removal)，如步骤
636。新的深度信息将会以Meta Data的格式，如通过深度影像自定义
(Depth Image Configuration)产生器640将数据传入骨架产生器650，以取得用户信
息660。
上述的校准(Calibration)方程为多体感摄影机的视角校正的方程。在本发明多个实
施范例其中之一，包括以下的步骤。首先，使用特征抽取(Feature Extraction)方法
来检测每二体感摄影机中RGB影像的特征点，并使用最相近邻居搜寻法
(Nearest Neighbors Search)找出每二RGB影像中特征点对应的关系。再根据以下条
件：1)特征点的深度值会因距离太近每二影像重叠率不高。2)在水平(X轴)方向，
左影像左边像素以及右影像右边像素上的特征点视为无效，因为重叠率不高。3)每
二对应点在两RGB影像中，垂直(Y轴)的差值不应过大。4)所有每二对应点所形成
的位置分布应为一致。5)将特征点搭配深度值转换至世界坐标，并求出每二对应点
的X轴差值，对所有每二对应点的X轴差值进行排序，取出两两成双的对应点，
即为正确率较高的对应点。上述步骤进行直到正确率较高的对应点出现即可停止，
此正确率较高可采用一临限值加以判断。
上述所得到的每二对应点可分为两组，第一组为影像A的特征点，第二组为影像
B的特征点。以第一组的特征点为基准，将第二组特征点分别对水平(X轴)与垂直
(Y轴)方向旋转，计算出两组特征点在世界坐标中最近距离的角度，即可对影像B
做视角校正的动作，并完成每二组影像作视角校正前后差异比较的图示。最后，取
得每二组影像校正并缝合后的深度影像638。将上述每二组影像校正缝合后所得到
缝合后的深度影像638，以Meta Data的格式，通过深度影像自定义产生器640将
数据传入用户的骨架产生器650，以取得用户信息，并可追踪用户骨架。因此，最
后能于缝合后的深度影像638中可同样追踪撷取用户深度影像及骨架。
由上可知，目前已解决单一体感摄影机受限于水平(X)视角57.5°的范围，可以动态
调整并扩展体感检测范围。紧接者，将针对目前仅能单一用户使用体感系统的问题，
进行多个用户骨架输入单一相似度动作比对元件，并依个别用户计算个别的动作相
似度及动作指引，如图3所示。
请参照图7，用以说明本发明多个实施范例其中之一的可调体感范围的多人指引系
统中，其方法流程示意图。首先，步骤S710，N个用户于可调体感范围的多体感
摄影机设计环境下，跟随屏幕中的虚拟教练进行运动。步骤S720为可调式深度影
像缝合与用户骨架撷取的流程图，包括步骤S722～S728。
步骤S722，多体感摄影机各自撷取视角范围内深度影像(包含环境影像与N个用户
影像)，并将个别的深度信息转换为真实世界的坐标。步骤S724，若考虑多体感摄
影机视角未对齐的情况，经Calibration方程可校正对齐。步骤S726，由多体感摄
影机位置可得知多组真实世界坐标的对应点，进而将其对齐并缝合成新的深度扩展
影像(此步骤包含了移除被遮蔽的物体)。步骤S728，新的深度扩展影像将以
Meta Data的格式通过动作感测单元的核心架构取得用户的信息。步骤S730，检测
N个用户的深度串流动作影像及骨架中多个节点信息。
步骤S740为通过多线程平行处理N个用户骨架中多个节点信息。步骤S752为提
供一录制的虚拟教练的深度串流动作及骨架中多个节点信息。步骤S750为提供一
动作比对与指引方式及重心比对方式，N个个别用户及虚拟教练进行动作轨迹比对
分析、重心移转比对分析，进而实时回馈指引。步骤S760为个别回馈N个个人化
指引提供给用户动作修正。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细
说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，
凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在
本发明的保护范围之内。