虚拟现实音乐和声音的协作和竞争性未来-李社博士

2021-04-08

摘要:虚拟现实系统的发展很大程度上基于思科网真(一种通过结合高清晰度视频、音频和交互式组件,在网络上创建一种独特的"面对面"体验的新型技术),机器人技术,电影和游戏领域的基础工作。在所有这些学科中,“参与者”和“观众”成员的角色差异很大,系统本身提出的规则,能力和体验目标也是如此。这样,交互式虚拟(此处定义为包括混合和增强)现实系统的设计人员和开发人员面临着一个基本选择:创建本质上协作或竞争的体验。从表面上看,这样的选择似乎是对任何给定项目的核心设计原则的简单表达,不应忽略虚拟现实系统的指导方向以及这些选择将对社会接受VR作为我们技术未来的主要组成部分产生的影响。本文讨论了一系列交互式虚拟体验中提出的协作和竞争模型,并提出了虚拟现实的理想未来,其中交互性和思科网真将协作作为核心机制。

一、介绍

目前关于虚拟现实系统的许多讨论都集中在技术进步上,从头戴式显示器(HMD)的更高像素密度到实时模拟现实世界环境,到动态音频环境的过程生成。尽管这些技术成就的规模加上惊人的工程进展速度令人印象深刻,但对于如何将虚拟现实系统作为一个更大的整体纳入我们的社会的研究,往往是相对简短的。对虚拟现实系统的主要商业关注是投资,包括Facebook / Oculus 1,Valve / HTC 2,Microsoft 3,Google 4和Magic Leap 5 -每个人都在寻找一款杀手级应用,它将带给VR系统无处不在的消费者采用率。这是随着智能手机及其配套应用商店的推出,我们在移动软件中看到的。

按照这种模式,我们在游戏和电影院的各种商业机会中可以使消费者转向虚拟现实VR。但是,尽管电影在全球范围内被广泛采用而产生了巨大的收入,但该媒体固有地缺乏交互性,并且历来被设计用于被动消费。在大多数情况下,设计VR电影体验的尝试已成为其自身存在的理由的受害者。电影始终为艺术家提供机会,利用特定的摄影作品,叙事弧线和刻意的节奏来向观众展示专业化的观点,从而将一系列精确的观点转化为艺术视野。虚拟现实的灵活本质通过将控制权授予听众在何时何地进行观看而打乱了该模型。电影制片人命令者/专家的历史角色在完全控制向观众展示内容,时间和方式的过程中,如果不进行重大改变就无法在虚拟现实中共存。

另一方面,游戏业是一个数十亿美元的产业,其基础是围绕用户交互,可变的用户确定的视觉焦点和非线性时标而设计的。电子游戏正在稳步发展从一个简单的交互模型和表现形式演变而来,从DEC pdp -1驱动的空间战斗模拟的《太空战!6》到丰富的图像内容和网络社交体验的游戏比如Epic Games的《堡垒之夜7》。视频游戏已经从简单的交互模型和DEC PDP-1驱动的太空战斗模拟Spacewar的演示稳步发展!6来获得Epic Games的Fortnite 7之类游戏的丰富图形内容和网络社交体验。长期以来,尽管在二维屏幕上使用三维图形,在游戏中却司空见惯,即使不使用特定的虚拟现实硬件或软件系统,也可以增强我们在游戏虚拟空间中的沉浸感和存在感。简而言之,游戏具有交互性和非线性艺术形式的性质,使其成为虚拟现实的理想模型。

二、比赛与游戏

游戏的一个共同特征是固有地依赖竞争作为核心机制。完整的游戏体验通常意味着一个或多个获胜者已经击败了一个或多个输家。理想情况下,给定游戏的每个玩家都会对体验产生正积极的反应:在玩游戏的过程中会产生足够的乐趣,以抵消损失带来的负面影响。但是,我们看到了很多情况,尤其是在与儿童玩游戏时,竞争的消极方面压倒了积极的方面,造成了明显的社会问题。随着计算机游戏越来越成为网络化的社会竞争体验,互联网上的游戏社区被迫应对参与者之间的有害语言和行为。竞争并不总是激发出我们最好的一面。你只需要加入《守望先锋》或《星际争霸》的竞技游戏,就会理解竞争所带来的负面影响会在我们的社会中显现出来。

三、合作的艺术模式

可以通过艺术合作找到可以应用于虚拟现实体验的另一个潜在模型,这里定义为包括活跃和参与性的艺术形式,例如舞蹈和音乐。集体音乐表演的参与者或舞蹈团的成员是整体的组成部分。在微观(舞者的后弯)和宏观(合奏的渐强)这两个层面上,个人的动作和表达对于整个体验的成功都是必要的。在此模型中,对协作的关注不会消除失败的可能性以及其中包含的固有负面含义。但是,成功是通过协调和相互支持而不是直接竞争获得的。Play的积极方面得到加强,消极方面则有所减少,为我们自己的虚拟版本创建一个可靠性的支持环境,以便与我们的联网对等方进行交互。本节将描述三种基于协作的游戏作为协作体验设计的虚拟环境。

image.png 

图 1从左到右排列的Coretet虚拟乐器

右图:圆球、小提琴、中提琴、大提琴和弓。

三、1 Coretet

Coretet是一种虚拟现实乐器和网络演奏环境,旨在模拟传统弦乐四重奏的演奏和交互模式[2]。Coretet的演奏者可以进入一个共享的虚拟空间,在其中可以看到和听到每个演奏者的化身和乐器。当呈现给现实世界的观众时,实时Coretet环境的视图将投影到大型二维显示器上,并且多声道音频系统用于空间化每个演奏者乐器在房间周围的声音。

作为一个项目,Coretet利用了诸如虚幻引擎410,Oculus Rift HMD和Oculus Touch控制器之类的游戏技术。Coretet的外观显然来自视频游戏(用于构建Coretet的所有模型都是艺术家Chris Platz为音乐作品Carillon设计的模型套件的一部分)。为了运行Coretet,需要使用一台运行NVIDIA TitanX 16 Gb视频卡的服务器台式机,四台装有NVIDIA 1070视频卡的游戏笔记本电脑以及一台音频服务器和多通道声卡的硬件资源。GAPT项目[4]赞助了Coretet的最初设计和开发,Coretet的第一篇作品为“美丽的三女神”而作的,由Trois Machins de la Grce Aimante赞助。由训练有素的弦乐演奏家在2018年9月奥地利格拉茨IEM的音乐会首演。

三、2 Carillon

Carillon,为三个虚拟现实表演者,被设计为一个虚拟模拟多用户的传统乐器,如四手钢琴。Carillon的玩家面对面站着在一个漂浮的机器上,被设计成未来的钟楼。而塔的四周是传统的钟形乐器Carillon的基本用户交互存在于一组连锁在建筑中心的圆环。每个玩家控制一个全身的化身,他们的手直接映射到对应角色的手使用跳跃动作手跟踪控制器钟琴的核心互动允许每个表演者控制一个或多个环并使其运动。每个环的旋转方向,速度和平移会按程序生成音高高的乐器,从而将这组环变成可演奏的乐器。

 image.png

图 2 两个表演者控制着Carillon的音乐环

Carillon被设计为必须进行协作的音乐表演。在任何时候,一个以上的表演者可能会选择并尝试使同一声响动起来。如果发生这种情况,表演者就会彼此冲突,从而导致一种情况,那就是没有人能够胜出。如果将多个控制信号同时发送到给定的环,则系统会崩溃,从而导致机器无法按预期平稳运行。表演者获得强劲表现和清晰发音的唯一方法是制定合作策略,以防止单个戒指的直接竞争。如果没有自觉地注意其他两个表演者的手势和声音输出,没有一个表演者可以创造成功的表演。

三、3 Nous Sommes Tous Fernando

将最初为竞争性游戏关注而设计的技术利用到协作和艺术系统中,可以揭示强调冲突和协作竞争的特定技术的基本设计含义。在一项基于游戏的表演作品《Nous Sommes Tous Fernando》中,通过入侵Quake III游戏引擎来创建交互式音乐环境,从而在先前致命的虚拟武器弹丸与虚拟环境的墙壁,地板和天花板碰撞时产生音乐音调。

该作品旨在完全协作,没有为表演者提供可能的竞争方向。但是,在系统的早期迭代中,原始游戏中用于向玩家提供武器和弹药的一系列作弊键命令在引擎自身中处于活动状态(尽管没有暴露)。与斯坦福笔记本电脑管弦乐队的演奏家进行初步排练时,对这些关键命令的了解很快在整个合奏团中传播开来,从而使协作性和表演性的音乐排练变成了虚拟战斗中极富竞争力和侵略性的比赛。尽管创作的作品是作为格言的艺术实例,例如谚语将剑变成犁头或将武器重新变成和平的物件,但类似游戏的体验的本质使表演者感到舒适,与作品的明确音乐意图背道而驰,实际上与表演本身的艺术意图完全相反的暴力行为。

四、讨论

随着我们越来越多的虚拟自我进入越来越关注社会的互联网,我们访问兼容的(如果不是志同道合的)个人社区的能力已成为游戏或虚拟现实体验的基本组成部分。我们与这些网络社区互动所使用的软件环境和产品从根本上为我们与虚拟系统其他人类用户的社交互动增色。在当今许多人的主要通信媒介是互联网的时代,不再觉得极端,我们托管这些通信的平台对社会的影响将对我们整个社会的运作方式产生重大影响。在考虑将核心游戏机制应用于游戏和类似游戏的软件项目的方向时,重要的是要认识到艺术家和设计师用来制作作品的工具可能存在偏见。虚幻引擎的历史-两者均使用的开发平台和引擎Carillon和Coretet-显示了引擎自身对第一人称射击和战斗模拟项目的内部偏见。从演示带有武器的化身的演示示例到Oculus Touch控制器上的“触发”按钮,设计人员和开发人员都不断增强对虚拟空间作为潜在战场的看法。

五、结论

本文介绍了三个虚拟互动环境,将游戏机制和音乐合奏合作结合在一起,以创建固有的协作虚拟空间。在这些作品中的每一个中,联网的三维虚拟现实系统都利用现有的游戏技术和框架来创建协作性互动空间,参与者必须在协作性互动空间内进行合作才能获得理想的结果。建立在诸如跨艺术实践中发现的协作模型的基础上,虚拟现实应用的未来可以拥抱一个方向集中在社区建设和社会合作而不是专注于内在竞争。