2021年的春晚可谓是一场科技创新的视听盛宴，扩展现实（XR）、云录制、电影特效技术、8K超高清视频和AI VR裸眼3D演播室技术等等高科技结合创新设计，使台上台下融为一体，将现场观众互动融入其中，为观众带来试听震撼的同时，满足了全媒体时代的观赏需求。其中，刘德华与青年演员们的隔空同台，并于机械牛、卡通牛共舞，带来的创意表演《牛起来》，给人们留下了深刻印象，如图1所示。刘德华的演出采用了XR技术，利用绿幕抠像的方式，来实现刘德华“亲临现场”的场景。从春晚放出的纪录片中能够看出来，节目组对于这种云录制的抠像方式需要耗费大量的精力，不仅时间要精确到秒，一个元素，一个摇臂的抠像都要准时准点，舞台走位也要精确到小数点儿后两位，镜头位置都要仔细调整。复杂精确的制作过程展现了我国的科技发展之迅速。

图1：2021年央视春晚《牛起来》

一、什么是XR技术

XR技术不仅覆盖了完全现实和完全虚幻之间的光谱，更能让这些技术统称为一个内容范围。根据XR是“由计算机图形和可穿戴设备生成的所有真实和虚拟环境”的定义， XR就是虚拟现实（VR）/增强现实（AR）/混合现实（MR）三者的交集。VR具体指的是利用电脑模拟三维空间，通过感官模拟一种沉浸感和临场感，就像把人带到一个虚拟的仿真世界。不过，要是单纯的影像内容，就和看普通3D电影没什么差别；所以VR内容和传统3D影像的区别在于人与影像内容的互动感。AR就是在真实空间里植入虚假内容，把虚拟信息（物体、图片、视频、声音等）映射在现实环境中。VR是带你精神穿越，AR则是高楼林立的现实中，再现海市蜃楼。而MR倒可以直接看作是VR/AR结合体，因为它指的是合并现实和虚拟世界后产生的新可视化环境。举个简单的例子，下班回家的你，戴上MR设备看暴力美剧，施瓦辛格会跳出传统屏幕，在你眼前吹胡子瞪眼，甭管你移动到哪，他都只对着你演。

二、XR技术分析【1】

XR场景技术框架包括由LED显示屏组成的拍摄场地、摄像机、物体位置追踪与定位技术、实时图形渲染引擎、高速低延迟的网络等几大元素组成，最后将几大元素组合的内容传输显示屏幕前，就成为炫酷的逼真的XR场景。其整体技术框架如图2所示。

图2：XR演播室实现的原理

XR场景的实现，首先将虚拟环境传输至现场的LED显示屏，采用物体位置追踪与定位技术对物体进行跟踪拍摄，并将素材传回至实时图形渲染引擎。与此同时，视频服务器则用本地化运行逻辑运算进行人物手势分析及图形渲染，输出立体的逼真的AR内容与拍摄素材交互呈现，而在屏幕前呈现的内容就是XR场景。值得注意的是，在现场还需要强大的网络支持，为实现XR低时延交互、全景视频等内容大带宽下发等提供强有力的支持。

可见，XR场景就是基于现实场景，与后台炫酷的AR内容进行结合交互而来的，所以XR技术被誉为AR、VR、MR技术的融合。

1、XR应用案例一

图3为《只为梦中与你相遇》的一段场景，首次采用虚拟拍摄方式，把 XR工作流程与影视行业的工作流程相结合并实行最终内容的输出。短片现场无实景、无绿幕，实时渲染场景，而演员在LED屏幕所构建的空间中进行表演。在场景渲染上，XR扩展现实使用实时渲染引擎搭建拍摄场景，通过媒体服务器输出合成，运用摄像机追踪系统定位空间位置信息，实时映射人物与场景的空间关系，实时渲染技术将照片级别的动态数字场景，在LED屏幕上还原，并实时呈现并输出一个无死角的虚拟场景，最终形成具有XR场景的短片。

图3：《只为梦中与你相遇》的XR场景

2、XR应用案例二

2020年1月10号，我国"奋斗者"号载人潜水器成功坐底马里亚纳海沟的重要时刻，中央广播电视总台央视新闻频道、央视新闻新媒体通过XR虚拟演播进行了同步科普讲解，如图4所示。用虚拟环境将 LED 屏幕之外的现实环境实时覆盖，并完成虚拟环境拓展的处理。详细地说就是，摄影机追踪系统 Mosys 的运用使得直播中的现场摄像机与虚拟摄像机始终保持一致与同步，并在 XR 虚拟演播室现场使用了1台 disguise vx4 媒体服务器，作为虚拟渲染引擎增强渲染和控制，而工作流程将 AR 技术带入环境之中，通过使用 Black Trax 动态追踪系统实时了解参演者和虚拟影像的位置，从而与 CG 内容更好的互动融合，给观众一种身临其境的体验，将视觉效果的传递提升到一个新的维度，与全国观众全景体验大洋10909米处的至深之蓝。

图4：XR虚拟演播厅

三、XR将带来的影响【2】

1、XR将促进数字化转型

5G的超高速度和超低时延正在为移动创新注入全新活力。作为下一代移动计算平台，XR（包括AR和VR）正在促进现实世界与数字世界的融合，从而彻底改变我们工作、生活、学习和娱乐的方式，如图5所示。

AR正在改变我们观察周围世界、并与之交互的方式，通过将现实世界与虚拟事物相融合，从而打造逼真、智能且个性化的体验。对于商旅人士而言，AR将支持各种内容的实时翻译，例如指示牌、菜单、名片，让用户能够快速适应国外环境。外场技术人员能够利用AR智能眼镜快速检测设备故障，并进行维修。而这仅仅是个开始。我们预计AR眼镜的使用范围甚至将超越智能手机，因为AR眼镜能够始终处于开启状态、随时可用且无需手持。

利用360度全景画面、生动逼真的3D立体声、高清视频， VR能够提供极致的沉浸式体验。未来，VR还将变革人们观看现场演出和体育赛事的方式，例如通过虚拟的前排座位和多摄像头视角，打造个性化的观看体验，让用户获得身临其境的体验。VR还将对教育行业以及人们的学习方式产生重要影响，例如学生将能够进行虚拟游学，或在虚拟的多维空间体验新概念和新课题，进而将学习体验提升至全新水平。

图5：AR融合现实世界和数字世界

2、XR将驱动下一次变革

AR和VR的发展都获益于目前旗舰智能手机上的移动技术，包括媲美许多PC设备的强劲处理能力，支持顶级品质游戏、音乐和直播的丰富多媒体功能，以及超高速、超可靠的连接性。要想通过XR获得真正的沉浸式体验，就需要在我们生活的三维空间中进行空间计算。

通过空间计算，我们可以在现实世界的基础之上，在视觉上多增加一层交互和信息。过去五年，XR领域已取得重大进展，未来五年它将以更快的速度演进。基于这些技术进步，我们认为XR有望成为全球最普及且最具颠覆性的计算平台之一，如图6所示。

图6：XR有望成为全球最普及且最具颠覆性的计算平台之一

3、5G、AI和XR的时代

5G和AI的发展将为XR创造绝佳的发展时机。5G能够提供出色的性能，AI则为空间计算所需的诸多感知算法提供支持。在5G和AI技术的协同作用下，我们能够将先进的处理能力扩展至边缘终端，加速全新分布式计算时代的到来，并推动无界XR（Boundless XR）等新功能的发展。

无界XR是指通过“分离式渲染”技术进行分布处理，即通过支持超高速度和低时延的5G连接，利用高性能的边缘云渲染来增强终端侧的渲染能力。通过5G在终端侧和云端进行分布式处理，充分利用了终端和云端的优势。基于这些技术，用户将能够在纤薄的轻量型设备上体验到支持逼真视效的无界XR体验。

全息会议是用XR、5G和AI三项技术变革行业和体验的很好例证。它让身处异地的同事能够在共享的虚拟空间内，通过虚拟人像实时协同工作。这一体验也将也支持家庭聚会、学校集会等更多场景。这些虚拟人像或全息图形，均在能够追踪所有面部表情和肢体动作的XR头显中构建而成。而这些体验将随着XR的发展逐渐成为现实，如图7所示。

图7：全息会议的效果

虽然XR技术才刚刚兴起，但目前应用范围已经逐渐被拓宽，技术也愈加成熟。随着小间距显示技术的进一步成熟，以及点间距的进一步下探，高清细腻且可以实现裸眼3D显示，并且随着5G网络的进一步落地，XR技术知名度的持续提升，以及相关人员技术培训体系的完善等，都将推动XR技术开始走向成熟。