2023年12月20日发(作者：伊江雪)

一、发展背景

在全球经济形势复杂多变和新冠疫情的影响下，人类社会生活和生产方式面临新的挑战，信息消费与产业数字化转型也随之迎来新的机遇。作为新一代信息技术融合创新的典型领域，虚拟现实关键技术日渐成熟，在大众消费和垂直行业中应用前景广阔，产业发展正逢其时。

新型基础设施建设驱动虚拟现实产业发展提档升级。新型基础设施建设已成为拉动投资、促进消费、稳定就业和提升综合实力的重要抓手，如何加载高质量的业务生态成为释放新基建发展动能的关键。当前，以虚拟现实为代表的未来视频，正在成为工业数字孪生、沉浸式教学等传统行业转型升级与长短视频领域的重点发展路径。在今年新冠疫情的影响下，视频社交、视频会展等虚拟现实创新应用市场逆势增长，表现出对新型基础设施更加迫切的需求，并对通信基础设施的带宽、时延等网络传输能力、对算力基础设施的计算、存储能力提出了不断进阶支撑要求。

虚拟现实引领新一代人机交互平台发展。虚拟现实是个老的新概念，自上世纪50年代首款VR设备出现直至2016年产业元年的到来，虚拟现实兴起主要源自软硬件成本门槛大幅降低、产业资本与政策集聚、大众不断进阶的视听交互需求等背景动因。随着产业发展的持续演进，互动视频、无界办公、智慧教育、沉浸会展、工业互联网等应用场景的多样化、用户需求的多级化与数据类型的多元化亟需新一代人机交互平台的发展。业界对虚拟现实的研讨不再拘泥于其是否有望取代手机等偏狭议题，而是从技术、产业与应用多角度探讨以虚拟现实为代表的未来人机交互平台发展。从广义来看，虚拟现实（Virtual Reality，VR）包含增强现实（Augmented Reality，AR），狭义而言彼此独立，如无特别区分说明，本白皮书采用工信部印发《关于加快推进虚拟现实产业发展的指导意见》中的广义界定。

虚拟现实产业发展开始进入起飞阶段。虚拟现实旨在使用户获得身临其境的沉浸体验，通过对中国信通院《虚拟（增强）现实白皮书（2018）》中分级标准进行修订，可将虚拟现实划分为五个发展阶段，不同发展阶段对应相应体验层次，继2016年虚拟现实产业元年、2018年云VR产业元年、2019年5G云VR产业元年过后，2020-2021年将成为虚拟现实驶入产业发展快车道的关键发力时窗，目

前全球处于部分沉浸/成长培育期。其中，在终端设备方面，开始规模上量，适配场景与功能定位体系日益清晰完备，例如华为VR Glass、Focal等轻量级VR/AR终端通过强化通信连接能力，以及摄像头提供虚拟助手等功能进而变身为手机伴侣，微软Hololens2等高性能一体式AR终端可在一定程度上取代PC，作为新兴生产力平台，Facebook Quest 2等高性能VR终端可作为电视与游戏机等传统文娱平台的产品演进形态。在内容应用方面，题材形式日益丰富，内容与特定终端平台加速解耦，内容开发、调试与营销工具渐趋成熟，可自给、能盈利的内容生态开始成型，例如，标杆企业Facebook Quest平台内容收入已达到1.5亿美元，35款游戏收入达到百万美元，沉浸声、手势识别与虚拟化身等特色内容制作SDK陆续发布。在网络平台方面，2020年成为5G创新业务从0到1实现跨越的关键窗口，作为5G时代首要的创新业务，一方面，VR为5G这一国家新型基础设施提供了普适典型的应用场景，另一方面5G有望打破单机版VR小众化的产业发展瓶颈。2019年期间，成都、福州、杭州、青岛、南昌、上海、北京、沈阳、广州等地方政府已将5G云VR提上工作日程，相继编制或正在实施专项政策与相关工程。

二、关键技术趋势

（一）融合创新驱动虚拟现实用户体验持续进阶

虚拟现实存在单机智能与网联云控两条技术路径。当前，多数企业基于单体智能的发展轨道，聚焦近眼显示、感知交互、渲染计算与内容制作领域的研发创新、技术产业化及成本控制等相关工作，网联元素主要体现在内容上云后的流媒体服务。未来，虚拟现实发展的演进形态不是两者简单叠加，而是有机融合：在云、网、边、端、用、人等融为一体的创新体系下重构现有系统架构，触发产业跃迁，进而在这一深度融合创新的框架下，重新界定并迭代优化一批新技术、新产品、新标准、新市场与新业态。结合虚拟现实跨界复合的技术特性，对《虚拟（增强）现实白皮书（2018）》所提出“五横两纵”的技术框架与发展路径更新完善，其中，“五横”是指近眼显示、感知交互、网络传输、渲染计算与内容制作，“两纵”是指VR与AR，各技术点发展成熟度具体如下。近眼显示方面，快速响应液晶屏、折反式（Birdbath）已规模量产，Micro-LED与衍射光波导成为重点探索方向。渲染计算方面，云渲染、人工智能与注视点技术等进一步优化渲染

质量与效率间的平衡。内容制作方面，WebXR、OS、OpenXR等支撑工具稳健发展，六自由度视频摄制技术、虚拟化身技术等前瞻方向进一步提升虚拟现实体验的社交性、沉浸感与个性化。感知交互方面，内向外追踪技术已全面成熟，手势追踪、眼动追踪、沉浸声场等技术使能自然化、情景化与智能化的技术发展方向。网络传输方面，5G+F5G构筑虚拟现实双千兆网络基础设施支撑，传输网络不断地探索传输推流、编解码、最低时延路径、高带宽低时延、虚拟现实业务AI识别等新兴技术路径。

现阶段虚拟现实技术演进轨道尚未定型，技术供需面临多重挑战，存在超长的产业链条致使创新投入力不从心，现实效果与用户预期存在落差等问题。根据虚拟现实产业推进会（VRPC）产业分析与体验调优平台数据统计，对用户体验痛点清单按优先级排序可归纳为“用贵笨视晕传知”，即高品质爆款内容缺乏；高性能终端存在一定价格门槛；外观形态吸引力不足，佩戴不够轻便；分辨率、视场角等方面的画面视觉质量有限；由头动响应（MTP）时延、辐辏调节冲突（VAC）及晕动症等引发的晕眩感；因缺少适配虚拟现实业务的云网优化，致使网络感知不佳；缺乏令人耳目一新的使用体验与受众渠道，大众认知程度尚待提高。为应对上述问题，参考马斯洛需求层次理论，分析用户需求与技术供给的潜在关联，将虚拟现实用户需求自下而上划分为经济性、舒适性、沉浸性、互通性四个层次。其中，经济性是指涉及终端、配件、内容与流量等软硬件在内的用户购置费用以及开机调配所须的时间精力成本。舒适性涉及佩戴、视觉与社交等方面，例如，佩戴可摆脱线缆羁绊，显著提高移动性，通过网络传输大幅降低本地处理负载，头显体积小、重量轻、发热少、透气好，终端重心靠近头部；支持较宽的瞳距（IPD）调节，注视点中心区域每度像素数（PPD）较高，无较低PPD与开口率产生的纱窗效应；显示亮度可调节，无Mura效应；具备蓝光控制，可在一定程度上缓解VAC；在视场角（FOV）与眼动框范围内的颜色精准且均匀一致等。沉浸性可归纳为视觉、听觉、触觉、运动与嗅觉的临场感，例如，视场角、高动态范围图像（HDR）、MTP、注视点显示、动态沉浸声、触觉反馈、眼动/手势/姿态/脑电感知等因素。互通性既包含头显平台与交互外设、内容间的互联互通，也涵盖虚拟现实应用中多用户间的社交互动元素。

虚拟现实技术创新的难点与焦点在于需求指标间的权衡优化。对于诸多阶梯

化、多层次与分场景的细分需求（参见沉浸体验阶梯与用户需求层次视图），往往出现“按下葫芦浮起瓢”的研发窘境。如何求解用户需求这一多目标函数，即不以牺牲或最低限度牺牲某方面需求来满足其他，成为业界技术创新过程中所面临的共性挑战。例如，沉浸性与舒适性需求层次中的部分技术指标存在潜在冲突，两者与经济性指标亦存在潜在互斥，因此特定单一指标的局部最优难以支撑虚拟现实用户体验所需的全局最优。在这一背景下，融合创新与以人为中心成为解决上述难题的参考原则。相比单机版的发展路径，基于云、网、边、端、用等多领域间的技术组合进一步释放了融合创新的潜在空间。此外，相比传统的智能终端与移动互联网业务，虚拟现实作为下一代人机交互平台，日渐强调以人的生理及心理特质为技术创新的出发点。

（二）近眼显示：Micro-LED与衍射光波导成为当前探索热点

近眼显示受限于核心光学器件与新型显示的发展，整体发展相对迟缓。2020年随着市场需求日渐清晰，业界对近眼显示领域表现出更高的期待。在显示领域，快速响应液晶与硅基OLED（OLEDoS）作为主流的显示技术，处于实质规模量产阶段，微型发光二极管（Micro-LED）有望迅速发展。快速响应液晶被广泛用于2020年发布的新一代代表性VR终端，如Facebook Quest 2即采用一块改良后的Fast-LCD替换了上代产品中的两块AMOLED。

当前快速响应液晶屏成为多数VR终端的常用选择，主要表现为以超高清（如5.5英寸3840*2160分辨率）、轻薄（2.1寸1600*1600）、成本（5.5寸2160*1440）为设计导向的三类技术规格；硅基液晶（LCoS）作为AR终端常用的显示技术得到了一定发展与认可，但其较高功耗与较低对比度的不足限制了该技术的发展地位；OLEDoS可显著改善LCOS在对比度、功耗与响应时间等方面的性能表现，成为新近发布AR终端的主流技术选择，2019年底京东方在昆明量产；LBS激光扫描显示已用于微软等部分行业巨头的相关产品，亮度、功耗与体积等方面的优势使得该技术获得业界关注，但须搭配较为复杂的光学架构实现功能，短期内市场预期有限；Micro-LED成为继LCD和OLED后业界期待的下一代显示技术，广阔市场前景致使诸多行业巨头加速战略布局，苹果（LuxVue）、脸书（InfiniLED）、谷歌（Glo、Mojo Vision）、英特尔（Aledia）等纷纷投资或收购该领域初创公司，业界正在规划的规格以1.3寸4K*4K为主。虽然Micro-LED具备低功耗、高

亮度、高对比、反应速度快、厚度薄与高可靠等虚拟现实应用方面的性能优势，但现阶段由于LED外延成本较高，巨量转移的速度和良率尚未达到可量产的水平，当前Micro-LED显示技术正处在量产突破的前夕，梳理晶元光电股份有限公司、友达光电股份有限公司、镎创显示科技股份有限公司、三星等重点企业的发展进度可知，预计其规模量产时间在2022年左右；智能隐形眼镜尚处于萌芽状态，旨在最大程度缩小近眼显示系统与眼球间的距离，2020年Mojo Vision发布了首款内置Micro LED的AR隐形眼镜。未来，近眼显示系统有望由当前眼球外安置（头显终端）向眼球上（隐形眼镜）、眼球内（晶状体、视网膜）乃至视觉皮层转移。

在光学领域，作为下一代人机交互平台，虚拟现实呼唤以人为中心的光学架构，视觉质量、眼动框范围、体积重量、视场角、光学效率与量产成本间的权衡取舍、优化组合成为驱动技术创新的主要动因。超薄VR（Pancake）利用半透半反偏振膜的双透镜系统折叠光学路径，将头显重量降至200g以内，体积缩减至传统终端的三分之一，缓解了VR头显尺寸重量与便携性的痛点，且可保证较好的显示效果及更大的视场角；折反式（Birdbath）得益于设计难度与量产成本的优势，触发了消费级AR终端的规模上量，基于这一传统技术路径的光学模组体积较大厚度减薄困难，眼动框范围受限，其光学系统须搭配算法缓解畸变，且光效难以高于15%，效果和成本较大程度受限于微显示器的发展，高亮的OLEDoS成为最优搭配，目前我国已有厂商采用该技术大量出货；自由曲面在早期得到业界认可，其显示效果、光效表现较好，但量产加工难以保持较高精度，局部精度下降可导致图像局部扭曲和分辨率降低，存在产品一致性难题。此外，通过厚棱镜观察真实世界会出现一定程度扭曲和水波纹样畸变，这些因素影响了自由曲面的发展潜力；光波导在AR领域的技术发展前景明确，可进一步分为阵列和衍射光波导两大技术路线。相比其他光学架构，光波导外观形态趋近日常眼镜，且通过增大眼动框范围更易适配不同脸型用户，有助于推动消费级AR产品显著升级。

其中，阵列光波导采用传统光学冷加工技术，连续多层半透半反镜面阵列镀膜、贴合、切割等复杂多步工艺对产品良率提升提出较大挑战，量产成本难以降低。此外，基于阵列光波导的二维扩瞳方案对加工工艺的挑战极大，短期难以商用；衍射光波导依循光学元件从毫米级到微纳级、从立体转向平面的技术趋势，

采用平面的衍射光栅取代传统的光学结构。衍射光波导利用经过两次两个方向的扩瞳光栅或二维光栅以实现二维扩瞳，从而给以人为中心的光学设计与用户体验优化留有更大的容差空间。衍射光波导理论上具有较高的可加工性，成本可控，批量生产难度显著低于阵列光波导，现已成为国内外标杆企业研发创新的活力区。此外，为了改善色散问题，针对FOV和动眼框内的“彩虹效应”，如何用一层光栅作用于RGB三色且实现最大的FOV成为重要的技术挑战。

目前，衍射光波导根据光耦合器的差异可分为利用纳米压印技术制造的表面浮雕光栅波导（Surface Relief Grating，SRG）及基于全息干涉技术制造的全息体光栅波导（Volumetric Holographic Grating，VHG）等。其中，微软、Magic

Leap等多家AR明星企业的规模量产证明了SRG这一技术路线在经济成本上的可行性，当前国内有条件建设该产线的厂商相对有限。全息体光栅由于受到可利用材料的限制，致使其在视场角、光效率、清晰度等方面尚未达到表面浮雕光栅的水平，但因其在量产经济性等方面的发展潜力，业界对此方向的探索未曾停歇；可变焦显示成为当前解决辐辏调节冲突（Vergence AccommodationConflict,

VAC）的重要技术，继2018年脸书发布基于可变焦显示的第一代原型机Half

Dome后，于2020年开始了第三代原型机实验室外场景环境下的集成验证，Half

Dome 3通过电子变焦取代了此前的移动式机械变焦，极大程度的优化了头显体积重量与系统可靠性，有望开启可变焦显示技术产业化的量产之路；全息显示通过全息方式显示多个焦面，可作为未来解决辐辏调节冲突的技术路径。目前，由于光相位调制器（SLM）价格昂贵、全息图生成算法尚不完善、所须计算量大且难以实时完成等因素致使该技术短期内难以推广应用。

（三）渲染计算：云渲染、人工智能与注视点技术引领VR渲染2.0

不同于影视工业中离线渲染技术对视觉保真度的极致追求，实时渲染主要用于无预定脚本的游戏等强交互应用，为保证渲染速度而在一定程度上对渲染画质做出权衡妥协。虚拟现实渲染领域的主要技术挑战在于面向传统游戏的上述权衡范式难以直接套用于虚拟现实应用，表现为相比游戏画面的主流渲染要求（如FHD分辨率所须每秒渲染六千万像素且不高于150毫秒的用户交互时延），虚拟现实渲染负载与MTP时延须提升十倍量级才可达到初级沉浸的入门体验。此外，手机式/一体式VR与AR移动平台的渲染功耗预算尤为有限。当前，针对虚拟现

实渲染所面临的“小马拉大车，既要马儿吃得少，又要跑得快”的技术挑战，业界先后发展出异步时间扭曲（ATW）、异步空间扭曲（ASW）、多视图渲染（MultiView）、多分辨率渲染、畸变补偿渲染等一系列优化算法，旨在弥合传统游戏与虚拟现实渲染间的技术断点。此外，在跨越了沉浸体验的初始门槛后，渲染质量与效率间的平衡优化成为时下驱动虚拟现实渲染技术新一轮发展的核心动因，即用户需求的持续进阶放大了渲染画质、速度、成本、带宽等多目标规划的求解难度。在智能云控与以人为本的创新架构下，云渲染、人工智能与注视点技术触发虚拟现实渲染计算2.0开启。

云渲染聚焦云网边端的协同渲染，时延不确定性成为关键技术挑战。将虚拟现实交互应用所须的渲染能力导入云端，有助于降低终端配置成本，帮助用户在移动头显平台获得媲美高价PC级的渲染质量。在云化架构的引领下，各类内容应用可更便捷地适配差异化的终端设备，也有助于实施更严格的内容版权保护措施，遏制内容盗版，缓解用户体验痛点清单中的部分问题。相比虚拟现实单机版的发展思路，部分企业对云渲染这一网联式技术路径存在发展定见。云游戏平台厂商认为网络状况难以预测，因而向网络中“倾泻”数据，最终造成网络资源浪费，客户端接收到无序数据，致使端侧须为此付出额外的计算成本。事实上，本地渲染与云渲染并非处于相互独立的发展轨道，亦非非此即彼的替代关系，相比单机版渲染依赖终端完成，云渲染并非完全依靠云侧进行，而是聚焦云网边端协同分工，旨在实现“不要让终端补缺云网协同落下的课”。

当前，针对时延、带宽、丢包、抖动等技术挑战，业界通过调节CPU与GPU协同编码、前向纠错率、缓冲区大小等方式实现QoS保障。需要指出的是，比之时延因素本身，网络、算力等导致的时延不确定性对虚拟现实云渲染用户体验影响尤甚，不同于传输环节的丢帧，因时延不确定性产生的弃帧主要是由帧未能及时到达，致使在终端显示环节丢弃（不显示）某些帧，在虚拟现实用户感受上表现为画面卡顿、跳跃与拖尾，有测试表明，对于1080P@144帧的云渲染体验，7ms网络抖动是大众用户的感知边界。除流媒体QoS视角外，ATW/ASW成为虚拟现实渲染标配的“弃帧保险”，由于ATW导致视觉黑边，可通过扩大渲染面积予以解决。此外，在虚拟现实体验过程中用户即便没有位移，眼睛亦会发生位置改变，因而引入ASW，前者适用于远景静物，后者侧重近景动画。

注视点技术入选业界标配，基于眼球追踪的注视点渲染与注视点光学成为热点技术架构。由于提供高分辨率与色彩视觉的视锥细胞集中分布在人眼最中心区域（Fovea），眼球中央向外的区域视觉感知加速模糊（30°内每远离2.5°视觉分辨率降低一半），业界据此提出注视点渲染技术，通过对视场角内各部分画面进行差异化渲染，显著节省算力开销，据VRPC统计，注视点渲染已成为2018年虚拟现实渲染领域专利数量最为富集的细分技术。

2020年10月脸书发售第二代VR一体机Quest 2，新增动态固定注视点功能（Dynamic Fixed FoveatedRendering, DFFR），系统可根据GPU帧率高低自动决定是否触发固定注视点渲染，内容开发者无须延续Oculus Quest/Go平台上手动配置FFR的经历，也无须为Quest 2 DFFR修改既有内容应用。鉴于眼球运动致使注视点区域随之改变，基于眼球追踪的可变注视点渲染成为业界热点，在日常扫视（Saccade）过程中，眼球运动速度高达每秒900度，因而精准化的眼球追踪成为了技术挑战。此外，作为注视点技术路径的新生分支，注视点光学通过组合低分辨率/大FOV（60+°）与高分辨率/小FOV（20°）两个显示系统，且以手机面板与微显示器或两个不同分辨率的微机电（MEMS）扫描显示系统为常见搭配，旨在实现用户体验分辨率不因渲染算力与显示像素数减少而降低。当前，注视点渲染与注视点光学日益成为支撑上述目标的焦点性技术架构，业界对此积极布局，且两者具备潜在的结合空间。通过梳理各类注视点技术与相关量产终端可知，基于眼球追踪的可变注视点渲染与注视点光学已成为时下技术产业化的主攻方向，且后者对渲染算力及显示像素数要求较低。

人工智能将成为虚拟现实渲染质量与效能的倍增器与调和剂。当前，业界日益聚焦深度学习渲染这一热点领域，以期针对多样化的业务场景，解锁平衡质量、速度、能耗、带宽、成本等多维渲染指标间的技术定式。在渲染质量方面，比之基于传统渲染软硬件架构的超采样（SSAA）、多重采样（MSAA）、快速近似（FXAA）、子像素增强（SMAA）、覆盖采样（CSAA）、时间性抗锯齿（TXAA）等抗锯齿技术，在2018年英伟达发布GeForce RTX 20系列显卡中，推出了包含深度学习超采样（DLSS）功能的驱动程序，通过以较低分辨率渲染图像再经AI算法填充像素的方式，显著提升了画面精细程度。得益于独立的AI计算单元，DLSS运算基于Tensor Core完成，无须占用显卡CUDA通用运算单元，释放了传统抗锯齿技术

对渲染计算资源的负载压力。2020年英伟达推出DLSS 2.0，通过持续优化深度学习算法，从而以较低渲染分辨率进一步提升了体验分辨率与帧率的性能表现。在渲染效能方面，为在移动终端平台加载高质量的虚拟现实沉浸体验，业界结合深度学习与人眼注视点特性，积极探索在不影响画质感知的情况下，如何进一步优化渲染效能的技术路径。

脸书提出一种基于AI的注视点渲染系统DeepFovea，利用生成对抗网络（GAN）的新近研究进展，通过馈送数百万个真实视频片段模拟注视点外围像素密度降低来训练DeepFovea网络，GAN的设计有助于神经网络根据训练视频的统计信息来补缺细节，进而得到可基于稀疏输入生成自然视频片段的渲染系统。测试显示该方案可将渲染计算负载降低约十倍，且能够管理外围视场的闪烁、锯齿和其他视频伪影。在图像预处理方面，预先对图像进行降噪处理有助于提升后续图像分割、目标识别、边缘提取等任务的实际效果，与传统降噪方法相比，深度学习降噪可获得更优的峰值信噪比（PSNR）与结构相似性（SSIM），如英伟达OptiX 6.0采用人工智能加速高性能降噪处理，从而减少高保真图像渲染时间。在端云协同架构方面，随着电信运营商云化虚拟现实发展推广，针对多样化的应用场景与网络环境，人工智能有望成为渲染配置自优化的重要探索。

“摘自：中国信息通信研究院、华为技术有限公司和京东方科技集团股份有限公司”。

2023年12月20日发(作者：伊江雪)

一、发展背景

在全球经济形势复杂多变和新冠疫情的影响下，人类社会生活和生产方式面临新的挑战，信息消费与产业数字化转型也随之迎来新的机遇。作为新一代信息技术融合创新的典型领域，虚拟现实关键技术日渐成熟，在大众消费和垂直行业中应用前景广阔，产业发展正逢其时。

新型基础设施建设驱动虚拟现实产业发展提档升级。新型基础设施建设已成为拉动投资、促进消费、稳定就业和提升综合实力的重要抓手，如何加载高质量的业务生态成为释放新基建发展动能的关键。当前，以虚拟现实为代表的未来视频，正在成为工业数字孪生、沉浸式教学等传统行业转型升级与长短视频领域的重点发展路径。在今年新冠疫情的影响下，视频社交、视频会展等虚拟现实创新应用市场逆势增长，表现出对新型基础设施更加迫切的需求，并对通信基础设施的带宽、时延等网络传输能力、对算力基础设施的计算、存储能力提出了不断进阶支撑要求。

虚拟现实引领新一代人机交互平台发展。虚拟现实是个老的新概念，自上世纪50年代首款VR设备出现直至2016年产业元年的到来，虚拟现实兴起主要源自软硬件成本门槛大幅降低、产业资本与政策集聚、大众不断进阶的视听交互需求等背景动因。随着产业发展的持续演进，互动视频、无界办公、智慧教育、沉浸会展、工业互联网等应用场景的多样化、用户需求的多级化与数据类型的多元化亟需新一代人机交互平台的发展。业界对虚拟现实的研讨不再拘泥于其是否有望取代手机等偏狭议题，而是从技术、产业与应用多角度探讨以虚拟现实为代表的未来人机交互平台发展。从广义来看，虚拟现实（Virtual Reality，VR）包含增强现实（Augmented Reality，AR），狭义而言彼此独立，如无特别区分说明，本白皮书采用工信部印发《关于加快推进虚拟现实产业发展的指导意见》中的广义界定。

虚拟现实产业发展开始进入起飞阶段。虚拟现实旨在使用户获得身临其境的沉浸体验，通过对中国信通院《虚拟（增强）现实白皮书（2018）》中分级标准进行修订，可将虚拟现实划分为五个发展阶段，不同发展阶段对应相应体验层次，继2016年虚拟现实产业元年、2018年云VR产业元年、2019年5G云VR产业元年过后，2020-2021年将成为虚拟现实驶入产业发展快车道的关键发力时窗，目

前全球处于部分沉浸/成长培育期。其中，在终端设备方面，开始规模上量，适配场景与功能定位体系日益清晰完备，例如华为VR Glass、Focal等轻量级VR/AR终端通过强化通信连接能力，以及摄像头提供虚拟助手等功能进而变身为手机伴侣，微软Hololens2等高性能一体式AR终端可在一定程度上取代PC，作为新兴生产力平台，Facebook Quest 2等高性能VR终端可作为电视与游戏机等传统文娱平台的产品演进形态。在内容应用方面，题材形式日益丰富，内容与特定终端平台加速解耦，内容开发、调试与营销工具渐趋成熟，可自给、能盈利的内容生态开始成型，例如，标杆企业Facebook Quest平台内容收入已达到1.5亿美元，35款游戏收入达到百万美元，沉浸声、手势识别与虚拟化身等特色内容制作SDK陆续发布。在网络平台方面，2020年成为5G创新业务从0到1实现跨越的关键窗口，作为5G时代首要的创新业务，一方面，VR为5G这一国家新型基础设施提供了普适典型的应用场景，另一方面5G有望打破单机版VR小众化的产业发展瓶颈。2019年期间，成都、福州、杭州、青岛、南昌、上海、北京、沈阳、广州等地方政府已将5G云VR提上工作日程，相继编制或正在实施专项政策与相关工程。

二、关键技术趋势

（一）融合创新驱动虚拟现实用户体验持续进阶

虚拟现实存在单机智能与网联云控两条技术路径。当前，多数企业基于单体智能的发展轨道，聚焦近眼显示、感知交互、渲染计算与内容制作领域的研发创新、技术产业化及成本控制等相关工作，网联元素主要体现在内容上云后的流媒体服务。未来，虚拟现实发展的演进形态不是两者简单叠加，而是有机融合：在云、网、边、端、用、人等融为一体的创新体系下重构现有系统架构，触发产业跃迁，进而在这一深度融合创新的框架下，重新界定并迭代优化一批新技术、新产品、新标准、新市场与新业态。结合虚拟现实跨界复合的技术特性，对《虚拟（增强）现实白皮书（2018）》所提出“五横两纵”的技术框架与发展路径更新完善，其中，“五横”是指近眼显示、感知交互、网络传输、渲染计算与内容制作，“两纵”是指VR与AR，各技术点发展成熟度具体如下。近眼显示方面，快速响应液晶屏、折反式（Birdbath）已规模量产，Micro-LED与衍射光波导成为重点探索方向。渲染计算方面，云渲染、人工智能与注视点技术等进一步优化渲染

质量与效率间的平衡。内容制作方面，WebXR、OS、OpenXR等支撑工具稳健发展，六自由度视频摄制技术、虚拟化身技术等前瞻方向进一步提升虚拟现实体验的社交性、沉浸感与个性化。感知交互方面，内向外追踪技术已全面成熟，手势追踪、眼动追踪、沉浸声场等技术使能自然化、情景化与智能化的技术发展方向。网络传输方面，5G+F5G构筑虚拟现实双千兆网络基础设施支撑，传输网络不断地探索传输推流、编解码、最低时延路径、高带宽低时延、虚拟现实业务AI识别等新兴技术路径。

现阶段虚拟现实技术演进轨道尚未定型，技术供需面临多重挑战，存在超长的产业链条致使创新投入力不从心，现实效果与用户预期存在落差等问题。根据虚拟现实产业推进会（VRPC）产业分析与体验调优平台数据统计，对用户体验痛点清单按优先级排序可归纳为“用贵笨视晕传知”，即高品质爆款内容缺乏；高性能终端存在一定价格门槛；外观形态吸引力不足，佩戴不够轻便；分辨率、视场角等方面的画面视觉质量有限；由头动响应（MTP）时延、辐辏调节冲突（VAC）及晕动症等引发的晕眩感；因缺少适配虚拟现实业务的云网优化，致使网络感知不佳；缺乏令人耳目一新的使用体验与受众渠道，大众认知程度尚待提高。为应对上述问题，参考马斯洛需求层次理论，分析用户需求与技术供给的潜在关联，将虚拟现实用户需求自下而上划分为经济性、舒适性、沉浸性、互通性四个层次。其中，经济性是指涉及终端、配件、内容与流量等软硬件在内的用户购置费用以及开机调配所须的时间精力成本。舒适性涉及佩戴、视觉与社交等方面，例如，佩戴可摆脱线缆羁绊，显著提高移动性，通过网络传输大幅降低本地处理负载，头显体积小、重量轻、发热少、透气好，终端重心靠近头部；支持较宽的瞳距（IPD）调节，注视点中心区域每度像素数（PPD）较高，无较低PPD与开口率产生的纱窗效应；显示亮度可调节，无Mura效应；具备蓝光控制，可在一定程度上缓解VAC；在视场角（FOV）与眼动框范围内的颜色精准且均匀一致等。沉浸性可归纳为视觉、听觉、触觉、运动与嗅觉的临场感，例如，视场角、高动态范围图像（HDR）、MTP、注视点显示、动态沉浸声、触觉反馈、眼动/手势/姿态/脑电感知等因素。互通性既包含头显平台与交互外设、内容间的互联互通，也涵盖虚拟现实应用中多用户间的社交互动元素。

虚拟现实技术创新的难点与焦点在于需求指标间的权衡优化。对于诸多阶梯

化、多层次与分场景的细分需求（参见沉浸体验阶梯与用户需求层次视图），往往出现“按下葫芦浮起瓢”的研发窘境。如何求解用户需求这一多目标函数，即不以牺牲或最低限度牺牲某方面需求来满足其他，成为业界技术创新过程中所面临的共性挑战。例如，沉浸性与舒适性需求层次中的部分技术指标存在潜在冲突，两者与经济性指标亦存在潜在互斥，因此特定单一指标的局部最优难以支撑虚拟现实用户体验所需的全局最优。在这一背景下，融合创新与以人为中心成为解决上述难题的参考原则。相比单机版的发展路径，基于云、网、边、端、用等多领域间的技术组合进一步释放了融合创新的潜在空间。此外，相比传统的智能终端与移动互联网业务，虚拟现实作为下一代人机交互平台，日渐强调以人的生理及心理特质为技术创新的出发点。

（二）近眼显示：Micro-LED与衍射光波导成为当前探索热点

近眼显示受限于核心光学器件与新型显示的发展，整体发展相对迟缓。2020年随着市场需求日渐清晰，业界对近眼显示领域表现出更高的期待。在显示领域，快速响应液晶与硅基OLED（OLEDoS）作为主流的显示技术，处于实质规模量产阶段，微型发光二极管（Micro-LED）有望迅速发展。快速响应液晶被广泛用于2020年发布的新一代代表性VR终端，如Facebook Quest 2即采用一块改良后的Fast-LCD替换了上代产品中的两块AMOLED。

当前快速响应液晶屏成为多数VR终端的常用选择，主要表现为以超高清（如5.5英寸3840*2160分辨率）、轻薄（2.1寸1600*1600）、成本（5.5寸2160*1440）为设计导向的三类技术规格；硅基液晶（LCoS）作为AR终端常用的显示技术得到了一定发展与认可，但其较高功耗与较低对比度的不足限制了该技术的发展地位；OLEDoS可显著改善LCOS在对比度、功耗与响应时间等方面的性能表现，成为新近发布AR终端的主流技术选择，2019年底京东方在昆明量产；LBS激光扫描显示已用于微软等部分行业巨头的相关产品，亮度、功耗与体积等方面的优势使得该技术获得业界关注，但须搭配较为复杂的光学架构实现功能，短期内市场预期有限；Micro-LED成为继LCD和OLED后业界期待的下一代显示技术，广阔市场前景致使诸多行业巨头加速战略布局，苹果（LuxVue）、脸书（InfiniLED）、谷歌（Glo、Mojo Vision）、英特尔（Aledia）等纷纷投资或收购该领域初创公司，业界正在规划的规格以1.3寸4K*4K为主。虽然Micro-LED具备低功耗、高

亮度、高对比、反应速度快、厚度薄与高可靠等虚拟现实应用方面的性能优势，但现阶段由于LED外延成本较高，巨量转移的速度和良率尚未达到可量产的水平，当前Micro-LED显示技术正处在量产突破的前夕，梳理晶元光电股份有限公司、友达光电股份有限公司、镎创显示科技股份有限公司、三星等重点企业的发展进度可知，预计其规模量产时间在2022年左右；智能隐形眼镜尚处于萌芽状态，旨在最大程度缩小近眼显示系统与眼球间的距离，2020年Mojo Vision发布了首款内置Micro LED的AR隐形眼镜。未来，近眼显示系统有望由当前眼球外安置（头显终端）向眼球上（隐形眼镜）、眼球内（晶状体、视网膜）乃至视觉皮层转移。

在光学领域，作为下一代人机交互平台，虚拟现实呼唤以人为中心的光学架构，视觉质量、眼动框范围、体积重量、视场角、光学效率与量产成本间的权衡取舍、优化组合成为驱动技术创新的主要动因。超薄VR（Pancake）利用半透半反偏振膜的双透镜系统折叠光学路径，将头显重量降至200g以内，体积缩减至传统终端的三分之一，缓解了VR头显尺寸重量与便携性的痛点，且可保证较好的显示效果及更大的视场角；折反式（Birdbath）得益于设计难度与量产成本的优势，触发了消费级AR终端的规模上量，基于这一传统技术路径的光学模组体积较大厚度减薄困难，眼动框范围受限，其光学系统须搭配算法缓解畸变，且光效难以高于15%，效果和成本较大程度受限于微显示器的发展，高亮的OLEDoS成为最优搭配，目前我国已有厂商采用该技术大量出货；自由曲面在早期得到业界认可，其显示效果、光效表现较好，但量产加工难以保持较高精度，局部精度下降可导致图像局部扭曲和分辨率降低，存在产品一致性难题。此外，通过厚棱镜观察真实世界会出现一定程度扭曲和水波纹样畸变，这些因素影响了自由曲面的发展潜力；光波导在AR领域的技术发展前景明确，可进一步分为阵列和衍射光波导两大技术路线。相比其他光学架构，光波导外观形态趋近日常眼镜，且通过增大眼动框范围更易适配不同脸型用户，有助于推动消费级AR产品显著升级。

其中，阵列光波导采用传统光学冷加工技术，连续多层半透半反镜面阵列镀膜、贴合、切割等复杂多步工艺对产品良率提升提出较大挑战，量产成本难以降低。此外，基于阵列光波导的二维扩瞳方案对加工工艺的挑战极大，短期难以商用；衍射光波导依循光学元件从毫米级到微纳级、从立体转向平面的技术趋势，

采用平面的衍射光栅取代传统的光学结构。衍射光波导利用经过两次两个方向的扩瞳光栅或二维光栅以实现二维扩瞳，从而给以人为中心的光学设计与用户体验优化留有更大的容差空间。衍射光波导理论上具有较高的可加工性，成本可控，批量生产难度显著低于阵列光波导，现已成为国内外标杆企业研发创新的活力区。此外，为了改善色散问题，针对FOV和动眼框内的“彩虹效应”，如何用一层光栅作用于RGB三色且实现最大的FOV成为重要的技术挑战。

目前，衍射光波导根据光耦合器的差异可分为利用纳米压印技术制造的表面浮雕光栅波导（Surface Relief Grating，SRG）及基于全息干涉技术制造的全息体光栅波导（Volumetric Holographic Grating，VHG）等。其中，微软、Magic

Leap等多家AR明星企业的规模量产证明了SRG这一技术路线在经济成本上的可行性，当前国内有条件建设该产线的厂商相对有限。全息体光栅由于受到可利用材料的限制，致使其在视场角、光效率、清晰度等方面尚未达到表面浮雕光栅的水平，但因其在量产经济性等方面的发展潜力，业界对此方向的探索未曾停歇；可变焦显示成为当前解决辐辏调节冲突（Vergence AccommodationConflict,

VAC）的重要技术，继2018年脸书发布基于可变焦显示的第一代原型机Half

Dome后，于2020年开始了第三代原型机实验室外场景环境下的集成验证，Half

Dome 3通过电子变焦取代了此前的移动式机械变焦，极大程度的优化了头显体积重量与系统可靠性，有望开启可变焦显示技术产业化的量产之路；全息显示通过全息方式显示多个焦面，可作为未来解决辐辏调节冲突的技术路径。目前，由于光相位调制器（SLM）价格昂贵、全息图生成算法尚不完善、所须计算量大且难以实时完成等因素致使该技术短期内难以推广应用。

（三）渲染计算：云渲染、人工智能与注视点技术引领VR渲染2.0

不同于影视工业中离线渲染技术对视觉保真度的极致追求，实时渲染主要用于无预定脚本的游戏等强交互应用，为保证渲染速度而在一定程度上对渲染画质做出权衡妥协。虚拟现实渲染领域的主要技术挑战在于面向传统游戏的上述权衡范式难以直接套用于虚拟现实应用，表现为相比游戏画面的主流渲染要求（如FHD分辨率所须每秒渲染六千万像素且不高于150毫秒的用户交互时延），虚拟现实渲染负载与MTP时延须提升十倍量级才可达到初级沉浸的入门体验。此外，手机式/一体式VR与AR移动平台的渲染功耗预算尤为有限。当前，针对虚拟现

实渲染所面临的“小马拉大车，既要马儿吃得少，又要跑得快”的技术挑战，业界先后发展出异步时间扭曲（ATW）、异步空间扭曲（ASW）、多视图渲染（MultiView）、多分辨率渲染、畸变补偿渲染等一系列优化算法，旨在弥合传统游戏与虚拟现实渲染间的技术断点。此外，在跨越了沉浸体验的初始门槛后，渲染质量与效率间的平衡优化成为时下驱动虚拟现实渲染技术新一轮发展的核心动因，即用户需求的持续进阶放大了渲染画质、速度、成本、带宽等多目标规划的求解难度。在智能云控与以人为本的创新架构下，云渲染、人工智能与注视点技术触发虚拟现实渲染计算2.0开启。

云渲染聚焦云网边端的协同渲染，时延不确定性成为关键技术挑战。将虚拟现实交互应用所须的渲染能力导入云端，有助于降低终端配置成本，帮助用户在移动头显平台获得媲美高价PC级的渲染质量。在云化架构的引领下，各类内容应用可更便捷地适配差异化的终端设备，也有助于实施更严格的内容版权保护措施，遏制内容盗版，缓解用户体验痛点清单中的部分问题。相比虚拟现实单机版的发展思路，部分企业对云渲染这一网联式技术路径存在发展定见。云游戏平台厂商认为网络状况难以预测，因而向网络中“倾泻”数据，最终造成网络资源浪费，客户端接收到无序数据，致使端侧须为此付出额外的计算成本。事实上，本地渲染与云渲染并非处于相互独立的发展轨道，亦非非此即彼的替代关系，相比单机版渲染依赖终端完成，云渲染并非完全依靠云侧进行，而是聚焦云网边端协同分工，旨在实现“不要让终端补缺云网协同落下的课”。

当前，针对时延、带宽、丢包、抖动等技术挑战，业界通过调节CPU与GPU协同编码、前向纠错率、缓冲区大小等方式实现QoS保障。需要指出的是，比之时延因素本身，网络、算力等导致的时延不确定性对虚拟现实云渲染用户体验影响尤甚，不同于传输环节的丢帧，因时延不确定性产生的弃帧主要是由帧未能及时到达，致使在终端显示环节丢弃（不显示）某些帧，在虚拟现实用户感受上表现为画面卡顿、跳跃与拖尾，有测试表明，对于1080P@144帧的云渲染体验，7ms网络抖动是大众用户的感知边界。除流媒体QoS视角外，ATW/ASW成为虚拟现实渲染标配的“弃帧保险”，由于ATW导致视觉黑边，可通过扩大渲染面积予以解决。此外，在虚拟现实体验过程中用户即便没有位移，眼睛亦会发生位置改变，因而引入ASW，前者适用于远景静物，后者侧重近景动画。

注视点技术入选业界标配，基于眼球追踪的注视点渲染与注视点光学成为热点技术架构。由于提供高分辨率与色彩视觉的视锥细胞集中分布在人眼最中心区域（Fovea），眼球中央向外的区域视觉感知加速模糊（30°内每远离2.5°视觉分辨率降低一半），业界据此提出注视点渲染技术，通过对视场角内各部分画面进行差异化渲染，显著节省算力开销，据VRPC统计，注视点渲染已成为2018年虚拟现实渲染领域专利数量最为富集的细分技术。

2020年10月脸书发售第二代VR一体机Quest 2，新增动态固定注视点功能（Dynamic Fixed FoveatedRendering, DFFR），系统可根据GPU帧率高低自动决定是否触发固定注视点渲染，内容开发者无须延续Oculus Quest/Go平台上手动配置FFR的经历，也无须为Quest 2 DFFR修改既有内容应用。鉴于眼球运动致使注视点区域随之改变，基于眼球追踪的可变注视点渲染成为业界热点，在日常扫视（Saccade）过程中，眼球运动速度高达每秒900度，因而精准化的眼球追踪成为了技术挑战。此外，作为注视点技术路径的新生分支，注视点光学通过组合低分辨率/大FOV（60+°）与高分辨率/小FOV（20°）两个显示系统，且以手机面板与微显示器或两个不同分辨率的微机电（MEMS）扫描显示系统为常见搭配，旨在实现用户体验分辨率不因渲染算力与显示像素数减少而降低。当前，注视点渲染与注视点光学日益成为支撑上述目标的焦点性技术架构，业界对此积极布局，且两者具备潜在的结合空间。通过梳理各类注视点技术与相关量产终端可知，基于眼球追踪的可变注视点渲染与注视点光学已成为时下技术产业化的主攻方向，且后者对渲染算力及显示像素数要求较低。

人工智能将成为虚拟现实渲染质量与效能的倍增器与调和剂。当前，业界日益聚焦深度学习渲染这一热点领域，以期针对多样化的业务场景，解锁平衡质量、速度、能耗、带宽、成本等多维渲染指标间的技术定式。在渲染质量方面，比之基于传统渲染软硬件架构的超采样（SSAA）、多重采样（MSAA）、快速近似（FXAA）、子像素增强（SMAA）、覆盖采样（CSAA）、时间性抗锯齿（TXAA）等抗锯齿技术，在2018年英伟达发布GeForce RTX 20系列显卡中，推出了包含深度学习超采样（DLSS）功能的驱动程序，通过以较低分辨率渲染图像再经AI算法填充像素的方式，显著提升了画面精细程度。得益于独立的AI计算单元，DLSS运算基于Tensor Core完成，无须占用显卡CUDA通用运算单元，释放了传统抗锯齿技术

对渲染计算资源的负载压力。2020年英伟达推出DLSS 2.0，通过持续优化深度学习算法，从而以较低渲染分辨率进一步提升了体验分辨率与帧率的性能表现。在渲染效能方面，为在移动终端平台加载高质量的虚拟现实沉浸体验，业界结合深度学习与人眼注视点特性，积极探索在不影响画质感知的情况下，如何进一步优化渲染效能的技术路径。

脸书提出一种基于AI的注视点渲染系统DeepFovea，利用生成对抗网络（GAN）的新近研究进展，通过馈送数百万个真实视频片段模拟注视点外围像素密度降低来训练DeepFovea网络，GAN的设计有助于神经网络根据训练视频的统计信息来补缺细节，进而得到可基于稀疏输入生成自然视频片段的渲染系统。测试显示该方案可将渲染计算负载降低约十倍，且能够管理外围视场的闪烁、锯齿和其他视频伪影。在图像预处理方面，预先对图像进行降噪处理有助于提升后续图像分割、目标识别、边缘提取等任务的实际效果，与传统降噪方法相比，深度学习降噪可获得更优的峰值信噪比（PSNR）与结构相似性（SSIM），如英伟达OptiX 6.0采用人工智能加速高性能降噪处理，从而减少高保真图像渲染时间。在端云协同架构方面，随着电信运营商云化虚拟现实发展推广，针对多样化的应用场景与网络环境，人工智能有望成为渲染配置自优化的重要探索。

“摘自：中国信息通信研究院、华为技术有限公司和京东方科技集团股份有限公司”。