• 首页
  • 科学成果
  • 英伟达Omniverse实时仿真与协作元宇宙平台简述-刘艺涛博士

英伟达Omniverse实时仿真与协作元宇宙平台简述-刘艺涛博士

2022-01-11

摘要:英伟达于去年12月发布的元宇宙平台Omniverse,被称为工程师和设计师的实时仿真与协作平台,能够运行具备真实物理属性的虚拟世界,并与其他数字平台相连接,这一技术方向和“元宇宙”范式下数字孪生和虚拟场景所需的技术不谋而合。Omniverse能将英伟达旗下所有软硬件技术,及英伟达在生态系统中整合性的特质集中到一个平台,形成完整全栈解决方案,从而以更高效和兼容的方式,解决与“物理世界拟真”相关的各项点。

关键词:元宇宙 Omniverse 基础设施


1引言

1992年,Neal Stephenson在科幻小说 Snow Crash中提出“Metaverse”概念,小说的情节设定就是一个现实人类通过VR设备与虚拟人共同生活在虚拟空间之中[1]。2021 年 3 月 10 日,在线游戏公司Roblox以“元宇宙”概念成功在纽约证券交易所上市,将“元宇宙”从科幻推动到落实应用阶段。游戏是元宇宙的初期形态,最先启动“元宇宙”概念的也多为游戏公司,但对“元宇宙”的憧憬迅速引起科技界、商界和学界的思考。随着扎克伯格在日前Facebook的Connect开发者大会上宣布,将公司名称改为“Meta”[2],大众的视野也开始聚焦到了“元宇宙”这个概念中。各国政府也给予高度关注,形成“元宇宙”现象,普遍认为2021年是“元宇宙元年”[3]。

元宇宙并非一个严格意义上的学术概念,它既是一种互联网应用形态,也是一种社会组织形态,它整合了扩展现实技术、数字孪生技术、区块链技术、大数据及人工智能等多重技术,通过为用户提供沉浸式体验、跨虚实交互、开放式编辑及去中心化交易,实现虚拟世界现实世界在身份系统、社交系统、经济系统等多层面的融合与转化。

今年元宇宙炙手可热,而英伟达早在两年前就开始了它的元宇宙平台研发。去年 12 月,英伟达元宇宙平台Omniverse正式上线公测,英伟达创始人兼CEO黄仁勋没

有像 Meta(脸书)那样将这个元宇宙平台吹得神乎其神,而称其为全球4000多万工程师、设计师的实时仿真与协作平台,并且这个协作平台被各界看好。“元宇宙时代真正到来仍需时日,它的构建需要大量的技术、大量的企业,需要从政府到行业的生态携手,并不是一家企业就可以完成的。”HTC中国区总裁汪丛青在接受《中国电子报》记者采访时说。英伟达的Omniverse平台是虚拟现实且兼容的,允许用户实时合作,用真实的光线创建精确的物理模拟。这种类型的基础设施将是虚拟世界的关键,因为用户会寻求身临其境的体验,将现实世界和虚拟世界连接起来。

2 Omniverse平台的组成

根据英伟达介绍,Omniverse分为三部分。第一部分是数据库引擎Omniverse Nucleus,用户可在此连接并进行3D资产和场景描述的交换,需要建模、布局、阴影、动画、照明,特效或渲染设计师可以一起协作创建场景。第二部分是合成、渲染和动画引擎-虚拟世界的模拟,比如英伟达的图形技术可以实时模拟每条光线如何在虚拟世界中反射。第三部分是NVIDIA CloudXR,它包括客户端和服务器软件,可用于将扩展现实内容从OpenVR应用程序传输到Android和Windows设备,允许用户进出 Omniverse。本质上是一个为设计师、工程师等创造共享虚拟空间,以进行实时协作的云原生技术平台。

3 Omniverse平台提供的开发工具

在最新发布的Omniverse工具中,有几个工具备受关注。其一是Omniverse Avatar(阿凡达),这是一个用于创建虚拟人的开发工具,基于Omniverse平台以及世界上最大的定制语言模型Megatron530B。该工具可以让开发者便捷地开发AI 驱动的交互式虚拟形象,可使此角色具备视觉和语言能力,能够就各类主题进行交谈,并理解自然语言中的深层含义。

Omniverse Avatar是一个生成交互式AI虚拟化身的技术工具,它能够连接英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术,并且一切都是实时的。这些技术被集成在一个应用,并使用英伟达统一计算框架进行实时处理。而在这个平台上创建的虚拟化身,是具有光线追踪3D图像效果的交互式角色,可以“观察、讨论”各种主题,以及合理地理解表达意图。

其二是Omniverse Replicator,这是一种合成数据生成引擎,目的是帮助构建更好的数字孪生体。Replicator应用使开发者能够以人类无法做到的方式引导AI模型,填补现实世界的数据空白,并标记真实的数据[4]。通过Omniverse Replicato引擎工具,能够生成用于训练深度神经网络的物理模拟合成数据。用于承载自动驾驶汽车数字孪生的虚拟世界-NVIDIA DRIVE Sim和用于可操纵机器人数字孪生的虚拟世界-NVIDIA Isaac Sim。使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能,然后再应用到物理世界中。黄仁勋表示:“机器人、自动驾驶车队、仓库、工厂、工业厂房和整个城市,都将在Omniverse数字孪生中完成创建、训练和运行。”

4 Omniverse的应用

根据英伟达方面介绍,Omniverse能帮助解决行业的多个核心痛点:

1)数据协同市面上已3ds Max、Maya、Substance、虚幻引擎、Blender等众多3D协同软件,但数据在这些软件中缺乏共用的数据流载体,因而Omniverse选择拥抱USD这样的轻量级语言。

2)团队协作Omniverse提供的解决方案可以协同世界各地的员工,呈现所见即所得的渲染效果,并结合推流实现即刻观看。这让很多因疫情原因无法面对面工作的团队,能够看到即时效果,并根据即时效果进行反馈和修改。

3)大数据由于Omniverse拥抱USD这样的技术,所以在打开大场景时具有天然的优势。避免很多软件在打开耦合性很高的数据时加载的时间过长。

4)数据资产的安全性以往几个不同的数据资产需要导入、导出,并利用互联网或移动媒介等载体进行传输,这面临着数字资产的加密问题。而Omniverse可以实现无论公有云、私有云还是混合云,都能够在同一个平台上工作和存取。这使得数字资产的管控变得容易,且可以引入很多端到端加密机制。

在传媒娱乐领域,Omnivers正在探索变革泛影视领域的流程。今年上线的中国探月官方纪录片《飞向月球》第二季中就采用Omniverse平台,用到物理渲染、实时光线追踪、高精度3D扫描等技术,并首次将超写实虚拟数字人应用在4K科学纪录片中。在产品设计方面,今年4月宝马和英伟达宣布共同利用Omniverse平台打造虚拟工厂,探索虚拟、数字规划领域的新前景。黄仁勋表示,宝马在物理世界中建造任何产品前,可以先虚拟地设计、规划和运营未来工厂,而这也代表了制造业的未来。

4 Omniverse的机会与未来

随着5G和互联网技术的不断发展和普及,基于流媒体的在线云原生的渲染平台和工作模式可能会颠覆以前很多传统的工作流程。具体来说,传统的工作流、工作流程、应用模式、应用网站会逐渐地从本机化的方式迁移到“本机+云”混合,最后可能变成完全基于云分享的工作流程。虽然中国与海外市场防疫政策不同,导致办公环境不同,但在英伟达看来,中国的外资企业和工厂很多,在全球一体化的趋势下,许多M&E(媒体和娱乐)行业、AEC(建筑、工程和施工)行业、MFG(制造)行业和全球的配合非常紧密,跨国分工协作的需求仍然存在。

在英伟达的理解中,以尊重现实世界的物理规律和逻辑为出发点,将元宇宙看作把现实世界一比一、一比十个、甚至一比一万复制到虚拟世界。这意味着元宇宙拥有比真实世界更大的经济体量和市场空间,未来可能再次促进一个新生的经济实体和空间,刺激他人进行消费。

4 总结

元宇宙的构建,有着丰富的技术逻辑,每一层都做扎实才能有真正完整的元宇宙。一项重要技术成果的成熟运用,离不开大量基础设施的提前布局。Omniverse平台是英伟达对于未来元宇宙的长线布局,这种对趋势的提前布局,进一步体现在英伟达主动向元宇宙赛道靠拢。Omniverse平台的最终目标就是能够为元宇宙经济实体提供底层服务架构,作为元宇宙的技术底座,同时做到尽量逼真地还原现实生活中的场景,AI创造的虚拟人和真实人类进入元宇宙产生的“数字分身”进行实时的交互,未来更加逼真地完成现实生活中的设想。

 

 

 

 

 

参考文献

 

[1]喻国明.未来媒介的进化逻辑:“人的连接”的迭代、重组与升维——从“场景时代”到“元宇宙”再到“心世界”的未来[J].新闻界,2021(10):54-60.

[2]李佳师. Facebook改名Meta,元宇宙就来了吗?[N]. 中国电子报,2021-11-05(007). 

[3]杨新涯,钱国富,唱婷婷,涂佳琪.元宇宙是图书馆的未来吗?[J/OL].图书馆论坛:1-10[2021-11-22].http://kns.cnki.net/kcms/detail/44.1306.G2.20211115.1726.006.html.

[4]李佳师. 英伟达用软件“捕获”元宇宙[N]. 中国电子报,2021-11-19(006).