2023年12月20日发(作者：树画)
开发设计基于3D虚拟引擎的无线数据触觉手套系统*蔡奕松1鄢武1孙克争1孙永永2（1.广东省科学院智能制造研究所广东省现代控制技术重点实验室，广东广州5100702.佛山树客智能机器人科技有限公司，广东佛山528315）摘要：开发基于3D虚拟引擎的无线数据触觉手套系统，实现人手位姿可视化重现，增强沉浸式可视化触觉体验。该系统采用柔性线路的分布式IMU网络组采集人手位姿数据，并在3D虚拟引擎中重现人手的位姿和接触力。实验结果证明：该系统实现了对不同形状物体的稳定抓取、推移和放置等功能，对VR场景的实际开发应用、虚拟教学和技能培训以及人工智能数据采集训练具有重要意义。关键词：可视化重现；分布式IMU网络组；3D虚拟引擎；数据采集训练中图分类号：TP249文献标识码：A文章编号：1674-2605(2021)02-0006-03DOI：10.3969/.1674-2605.2021.02.0060引言随着虚拟现实技术的不断发展，通过融入人体更多感官的刺激，可丰富使用者对虚拟世界体验的沉浸感[1]。特别在虚拟零件装配和虚拟数据训练过程中手部精细动作的捕捉，对虚拟手可视化重现的灵活性和精确性都具有重要意义。传统的外骨骼力反馈手套虽然可以捕捉人手位姿，但结构笨重，不便于手部的精细操作。为进一步提高沉浸式体验，本文开发一款轻便型无线数据触觉手套，利用分布式的IMU网络组在VR虚拟场景中重现手的位姿和接触力，实现对不同形状物体的稳定抓取、推移和放置等功能，可广泛应用于虚拟现实教学和数据训练等。1系统总体架构基于3D虚拟引擎的无线数据触觉手套系统可捕获每个手指关节位置姿态[2]，结合虚拟场景，为用户提供触觉和视觉反馈。该系统主要包含无线数据触觉手套、3D虚拟引擎和3D头戴式显示器3部分，结构组成如图1所示。…图1基于3D虚拟引擎的无线数据触觉手套系统结构组成1.1无线数据触觉手套无线数据触觉手套可实时检测人手的位姿和接触力，为用户提供触觉反馈，并与3D虚拟引擎进行交互。无线数据触觉手套主要包含：2021年第42卷第2期自动化与信息工程31*基金项目：广东省重点领域研发计划项目（2020B090925001）；佛山市科技创新团队项目（2018IT100173）。
1）IMU网络组，由15个IMU模块组成，用于手指位置和姿态捕获，并经卡尔曼滤波处理后通过I2C总线连接到信号调理器；2）位置跟踪器，用于手部位置的定位，并在3D虚拟引擎中重现手部位姿；3）振动模块，由6个扁平振动电机组成，给人手提供不同频率的振动触觉反馈；4）信号调理器，提供IMU网络组I2C总线的复用处理和振动模块的驱动电路；5）主控制单元，在无线数据触觉手套和3D虚拟引擎之间传输数据，处理信号调理器传输的IMU网络组；基于手指结构模型参数利用IMU网络组和位置跟踪器的信号，通过正运动学变换解算出每个手指关节的位姿；提供振动模块的驱动信号。另外，无线数据主要通过WiFi或蓝牙，将主控制器解算的每个手指关节的位姿和触觉信息打包发送到3D虚拟引擎。无线数据触觉手套如图2所示。图2无线数据触觉手套1.23D虚拟引擎3D虚拟引擎主要包括手部位姿虚拟重现和接触检测及反馈等模块。手部位姿虚拟重现模块主要通过无线网络利用主控制单元采集分布式IMU网络组的数据信号，包括每个手指关节和手掌的位置和姿态数据，在3D虚拟引擎中完成重现手部动作功能。接触检测及反馈模块主要提供手部每个指关节包括手掌与虚拟物体的接触和颜色标注功能，再通过无线数据为主控制单元提供触觉反馈信号。1.33D头戴式显示器3D头戴式显示器主要有HTC，Oculus，华为VRGlass等。3D头戴式显示器为用户提供虚拟场景的实32时显示及虚拟场景的声音反馈。用户佩戴无线数据触觉手套后，可在3D虚拟引擎引导下与虚拟场景的物体进行交互体验，还原用户在虚拟场景的真实视觉和声觉[5]。2系统功能实现基于3D虚拟引擎的无线数据触觉手套主要由15个IMU和1个位置跟踪器组成的网络组，通过手部位姿虚拟重现模块在VR虚拟场景中重现手的位姿和接触力。分布式IMU网络组通过柔性电路连接，并和振动模块一起连接到信号调理器；信号调理器与主控制单元通过柔性电路连接控制；位置跟踪器通过无线方式连接到主控制单元。当用户佩戴3D头戴式显示器看到虚拟场景中的虚拟手与虚拟物体发生接触时，3D虚拟引擎调用接触检测及反馈模块并通过无线网络反馈信号给主控制单元；主控制单元驱动振动模块为用户提供振动反馈，模拟用户的真实触感，这是人机交互过程；当接触的点在几何上形成稳定抓取物体时，虚拟物体可跟随手的运动，同时3D虚拟引擎会触发每个手指的振动模块为用户提供稳定抓取的振动反馈。3实验验证为验证人手位姿和接触力可视化重现的可行性，测试捕获人手精细的抓取动作。实验在3D虚拟引擎中设计具有实际重量的虚拟杯子模型，通过对虚拟杯子的抓取任务来验证系统的可行性。实验证明：通过无线数据触觉手套的位姿捕捉，用虚拟手任意抓取、移动放在桌上的虚拟物体，并且无线数据触觉手套可反馈真实触觉。具体地，系统可通过无线数据触觉手套实现用户手部位姿包括手臂动作的实时捕捉和触觉反馈，可通过手部位姿虚拟重现模块和接触检测及反馈模块在3D虚拟引擎中三维动态重现出来。当虚拟手接触虚拟物体时，手部接触指关节显示红色并通过手套上的振动模块给用户真实的触觉。当抓取稳定时，手套振动提示用户，增强用户的沉浸式体验效果，
蔡奕松鄢武孙克争孙永永：基于3D虚拟引擎的无线数据触觉手套系统从而实现对人手的位姿和接触力情况的可视化重现。人手位姿和接触力情况可视化重现如图3所示。块将用户与虚拟场景中虚拟物体交互的感觉实时模拟反馈给用户，给用户带来丰富的触觉体验，具有广泛的应用前景，如职业学校机床零件组装等虚拟装配环境的人机交互技术培训教学[3]；采集制造业熟练工人手部动作，然后用于指导培训新手[4]；采集运动员手部精细动作数据用于人工智能数据训练[5]等。参考文献[1]余世政,杨冕清,李德状,等.应用于VR场景的力反馈外骨骼手套设计[J].机电信息,2019(8):43-45.[2]刁梁.面向虚拟现实应用的数据手套研制[D].南京:东南大图3人手位姿和接触力情况可视化重现学,2016.[3]包依勤,陶圣杰,宋万里,等.基于HTCVive的虚拟校园系统4结语基于3D虚拟引擎的无线数据触觉手套系统可实时捕获手部的位姿和接触力，并通过无线网络在3D虚拟引擎中可视化重现全手掌的位姿和接触力；实现对虚拟物体的抓取、放置和推移等任务；通过振动模的研究与设计[J].物联网技术,2020,10(11):57-60.[4]郑轶,宁汝新,唐承统,等.虚拟装配环境中的人机交互技术研究[J].北京理工大学学报,2006(1):19-22.[5]王萍.人工智能与大数据对运动训练的促进作用研究[J].饮食科学,2018(8):ssDataTactileGloveSystemBasedon3DVirtualEngineCaiYisong1YanWu1SunKezheng1SunYongyong2(uteofIntelligentManufacturing,GuangdongAcademyofSciences,GuangdongKeyLaboratoryofModernControlTechnology,Guangzhou510070,,Foshan528315,China)Abstract:Thewirelessdatatactileglovesystembasedon3DvirtualengineisdevelopedtorealizethevisualreproductionofhumantemusesthedistributedIMUnetworkgroupofflexiblecircuittocollectthepositionandposturedataofhumanhand,andtheposicticeshowsthatthesystemcangrasp,moveandplacedifferentshapeobjectsstably,whichisofgreatsignificancetotheactualdevelopmentandapplicationofVRscene,virtualteachingads:visualizationreproduction;distributedIMUnetworkgroup;3Dvirtualengine;dataacquisitiontraining作者简介：蔡奕松，男，1992年生，本科，助理工程师，主要研究方向：虚拟现实技术，力控制技术。E-mail:**************.cn鄢武，男，1991年生，硕士，工程师，主要研究方向：计算机图形学、深度学习。孙克争，男，1988年生，硕士，助理研究员，主要研究方向：机器人运动规划。孙永永，男，1984年生，本科，主要研究方向：VR教育机器人。2021年第42卷第2期自动化与信息工程33
2023年12月20日发(作者：树画)
开发设计基于3D虚拟引擎的无线数据触觉手套系统*蔡奕松1鄢武1孙克争1孙永永2（1.广东省科学院智能制造研究所广东省现代控制技术重点实验室，广东广州5100702.佛山树客智能机器人科技有限公司，广东佛山528315）摘要：开发基于3D虚拟引擎的无线数据触觉手套系统，实现人手位姿可视化重现，增强沉浸式可视化触觉体验。该系统采用柔性线路的分布式IMU网络组采集人手位姿数据，并在3D虚拟引擎中重现人手的位姿和接触力。实验结果证明：该系统实现了对不同形状物体的稳定抓取、推移和放置等功能，对VR场景的实际开发应用、虚拟教学和技能培训以及人工智能数据采集训练具有重要意义。关键词：可视化重现；分布式IMU网络组；3D虚拟引擎；数据采集训练中图分类号：TP249文献标识码：A文章编号：1674-2605(2021)02-0006-03DOI：10.3969/.1674-2605.2021.02.0060引言随着虚拟现实技术的不断发展，通过融入人体更多感官的刺激，可丰富使用者对虚拟世界体验的沉浸感[1]。特别在虚拟零件装配和虚拟数据训练过程中手部精细动作的捕捉，对虚拟手可视化重现的灵活性和精确性都具有重要意义。传统的外骨骼力反馈手套虽然可以捕捉人手位姿，但结构笨重，不便于手部的精细操作。为进一步提高沉浸式体验，本文开发一款轻便型无线数据触觉手套，利用分布式的IMU网络组在VR虚拟场景中重现手的位姿和接触力，实现对不同形状物体的稳定抓取、推移和放置等功能，可广泛应用于虚拟现实教学和数据训练等。1系统总体架构基于3D虚拟引擎的无线数据触觉手套系统可捕获每个手指关节位置姿态[2]，结合虚拟场景，为用户提供触觉和视觉反馈。该系统主要包含无线数据触觉手套、3D虚拟引擎和3D头戴式显示器3部分，结构组成如图1所示。…图1基于3D虚拟引擎的无线数据触觉手套系统结构组成1.1无线数据触觉手套无线数据触觉手套可实时检测人手的位姿和接触力，为用户提供触觉反馈，并与3D虚拟引擎进行交互。无线数据触觉手套主要包含：2021年第42卷第2期自动化与信息工程31*基金项目：广东省重点领域研发计划项目（2020B090925001）；佛山市科技创新团队项目（2018IT100173）。
1）IMU网络组，由15个IMU模块组成，用于手指位置和姿态捕获，并经卡尔曼滤波处理后通过I2C总线连接到信号调理器；2）位置跟踪器，用于手部位置的定位，并在3D虚拟引擎中重现手部位姿；3）振动模块，由6个扁平振动电机组成，给人手提供不同频率的振动触觉反馈；4）信号调理器，提供IMU网络组I2C总线的复用处理和振动模块的驱动电路；5）主控制单元，在无线数据触觉手套和3D虚拟引擎之间传输数据，处理信号调理器传输的IMU网络组；基于手指结构模型参数利用IMU网络组和位置跟踪器的信号，通过正运动学变换解算出每个手指关节的位姿；提供振动模块的驱动信号。另外，无线数据主要通过WiFi或蓝牙，将主控制器解算的每个手指关节的位姿和触觉信息打包发送到3D虚拟引擎。无线数据触觉手套如图2所示。图2无线数据触觉手套1.23D虚拟引擎3D虚拟引擎主要包括手部位姿虚拟重现和接触检测及反馈等模块。手部位姿虚拟重现模块主要通过无线网络利用主控制单元采集分布式IMU网络组的数据信号，包括每个手指关节和手掌的位置和姿态数据，在3D虚拟引擎中完成重现手部动作功能。接触检测及反馈模块主要提供手部每个指关节包括手掌与虚拟物体的接触和颜色标注功能，再通过无线数据为主控制单元提供触觉反馈信号。1.33D头戴式显示器3D头戴式显示器主要有HTC，Oculus，华为VRGlass等。3D头戴式显示器为用户提供虚拟场景的实32时显示及虚拟场景的声音反馈。用户佩戴无线数据触觉手套后，可在3D虚拟引擎引导下与虚拟场景的物体进行交互体验，还原用户在虚拟场景的真实视觉和声觉[5]。2系统功能实现基于3D虚拟引擎的无线数据触觉手套主要由15个IMU和1个位置跟踪器组成的网络组，通过手部位姿虚拟重现模块在VR虚拟场景中重现手的位姿和接触力。分布式IMU网络组通过柔性电路连接，并和振动模块一起连接到信号调理器；信号调理器与主控制单元通过柔性电路连接控制；位置跟踪器通过无线方式连接到主控制单元。当用户佩戴3D头戴式显示器看到虚拟场景中的虚拟手与虚拟物体发生接触时，3D虚拟引擎调用接触检测及反馈模块并通过无线网络反馈信号给主控制单元；主控制单元驱动振动模块为用户提供振动反馈，模拟用户的真实触感，这是人机交互过程；当接触的点在几何上形成稳定抓取物体时，虚拟物体可跟随手的运动，同时3D虚拟引擎会触发每个手指的振动模块为用户提供稳定抓取的振动反馈。3实验验证为验证人手位姿和接触力可视化重现的可行性，测试捕获人手精细的抓取动作。实验在3D虚拟引擎中设计具有实际重量的虚拟杯子模型，通过对虚拟杯子的抓取任务来验证系统的可行性。实验证明：通过无线数据触觉手套的位姿捕捉，用虚拟手任意抓取、移动放在桌上的虚拟物体，并且无线数据触觉手套可反馈真实触觉。具体地，系统可通过无线数据触觉手套实现用户手部位姿包括手臂动作的实时捕捉和触觉反馈，可通过手部位姿虚拟重现模块和接触检测及反馈模块在3D虚拟引擎中三维动态重现出来。当虚拟手接触虚拟物体时，手部接触指关节显示红色并通过手套上的振动模块给用户真实的触觉。当抓取稳定时，手套振动提示用户，增强用户的沉浸式体验效果，
蔡奕松鄢武孙克争孙永永：基于3D虚拟引擎的无线数据触觉手套系统从而实现对人手的位姿和接触力情况的可视化重现。人手位姿和接触力情况可视化重现如图3所示。块将用户与虚拟场景中虚拟物体交互的感觉实时模拟反馈给用户，给用户带来丰富的触觉体验，具有广泛的应用前景，如职业学校机床零件组装等虚拟装配环境的人机交互技术培训教学[3]；采集制造业熟练工人手部动作，然后用于指导培训新手[4]；采集运动员手部精细动作数据用于人工智能数据训练[5]等。参考文献[1]余世政,杨冕清,李德状,等.应用于VR场景的力反馈外骨骼手套设计[J].机电信息,2019(8):43-45.[2]刁梁.面向虚拟现实应用的数据手套研制[D].南京:东南大图3人手位姿和接触力情况可视化重现学,2016.[3]包依勤,陶圣杰,宋万里,等.基于HTCVive的虚拟校园系统4结语基于3D虚拟引擎的无线数据触觉手套系统可实时捕获手部的位姿和接触力，并通过无线网络在3D虚拟引擎中可视化重现全手掌的位姿和接触力；实现对虚拟物体的抓取、放置和推移等任务；通过振动模的研究与设计[J].物联网技术,2020,10(11):57-60.[4]郑轶,宁汝新,唐承统,等.虚拟装配环境中的人机交互技术研究[J].北京理工大学学报,2006(1):19-22.[5]王萍.人工智能与大数据对运动训练的促进作用研究[J].饮食科学,2018(8):ssDataTactileGloveSystemBasedon3DVirtualEngineCaiYisong1YanWu1SunKezheng1SunYongyong2(uteofIntelligentManufacturing,GuangdongAcademyofSciences,GuangdongKeyLaboratoryofModernControlTechnology,Guangzhou510070,,Foshan528315,China)Abstract:Thewirelessdatatactileglovesystembasedon3DvirtualengineisdevelopedtorealizethevisualreproductionofhumantemusesthedistributedIMUnetworkgroupofflexiblecircuittocollectthepositionandposturedataofhumanhand,andtheposicticeshowsthatthesystemcangrasp,moveandplacedifferentshapeobjectsstably,whichisofgreatsignificancetotheactualdevelopmentandapplicationofVRscene,virtualteachingads:visualizationreproduction;distributedIMUnetworkgroup;3Dvirtualengine;dataacquisitiontraining作者简介：蔡奕松，男，1992年生，本科，助理工程师，主要研究方向：虚拟现实技术，力控制技术。E-mail:**************.cn鄢武，男，1991年生，硕士，工程师，主要研究方向：计算机图形学、深度学习。孙克争，男，1988年生，硕士，助理研究员，主要研究方向：机器人运动规划。孙永永，男，1984年生，本科，主要研究方向：VR教育机器人。2021年第42卷第2期自动化与信息工程33