• 首页
  • 科学成果
  • 人工神经网络与虚拟现实技术相结合的应用-姚卫博士

人工神经网络与虚拟现实技术相结合的应用-姚卫博士

2020-12-15

近十年,人工智能与虚拟现实技术得到了快速的发展。人工智能领域的人工神经网络是从生物神经网络的结构出发,对其一些基本特性进行数学上的抽象和模拟,并用于探索人脑智能行为的仿生模型。将人工神经网络与虚拟现实技术相结合,起到一加一大于二的效果,是科学家们一直期待的。目前,人工神经网络与虚拟现实技术相结合的应用主要有:

1. Facebook人工智能实验室(Facebook AI Research)推出了一个人工神经网络,它可以基于文本描述生成特定的图像,加速虚拟现实内容的创建。比如,输入“beach”,一幅蓝色天空下的海滩图画就会出现,而这副海滩的图画的天空是有云的。但是如果输入“beach -clouds”,原来的图画就会变成蓝色天空下而没有云的海滩图画。最后,如果输入的是“sunset beach -clouds”,则会出现一幅全新的橙红色的夕阳海滩图。

2. 特效人士Jonathan Sims利用谷歌的神经网络系统Deep Dream,在4个月时间内制作了一个名为“Dreamtime”的视频,希望能让观众进入到一个梦境之中。“Dreamtime”的主画面是一条公路,天空充满了万花筒般的各种变形的动物形象,画面一边的广告板上显示了一系列梦中的场景描述,例如“孩子的说话声”、“独自一人”等等,如图2所示。简单来说,Deep Dream系统类似人类的认知过程:科学家以海量的图片信息“哺养”系统,Deep Dream学习之后,可以通过图片中的图形来“想象”相关图像。

 image.png

图1 “Dreamtime”的主画面

3. 2016年,在浙商银行网点换新设计项目中,SLDNXT帮助浙商银行北京三里屯旗舰网点通过“VR(虚拟现实)”和“AR(增强现实)”以及“神经科学”打造了全新的网点概念,让银行更有效地与客户建立联系,如图2。

 image.png

图2 浙商银行网点

SLDNXT开始使用最新的“VR”和“神经科学”技术收集信息。这是一次创新型研究,旨在验证以下几点:

在原型设计之前使用“VR”和“神经科学”评估概念的有效性。

利用“神经网络”和“眼部追踪”评估并确定客户对物理环境的真实情感反应的有效性。

利用“VR”硬件“EEG(脑电图)”头盔的可行性。

将“脑电图EEG”测试作为部分原型人群研究的有效性。

基于目标客户的反馈,使用原型概念与“VR”体验对比当前与未来环境的差别。

基于测量和“神经科学”提升客户体验的洞察。

4. 英伟达(Nvidia)公司在人工智能研究中取得了一些突破,使得研发人员可以使用模型创建完全人工合成的、交互式3D环境,此类模型都在真实世界视频中受过训练。该技术可为游戏、汽车、建筑、机器人或虚拟现实等快速创建虚拟世界。

英伟达研究人员利用神经网络,实时创建合成3D环境。与现在需要为虚拟世界中每个对象单独建模的方法相比,英伟达的方案更便宜、所需时间更短。此次研究产生了一个简单的驾驶游戏,允许参与者在城市场景中进行导航,场景中的所有内容都使用神经网络,以交互式方式呈现,神经网络将传统图形引擎生成的3D世界的草图转换成视频,如图3所示。该神经网络已经学会模拟真实世界的状况,包括照明、材料和动态表现。

 image.png

图3英伟达用神经网络在驾驶游戏中实时创建合成的3D环境

由于虚拟场景完全由人工合成,因此可以轻松编辑、删除或是添加对象。研究人员表示,英伟达的Tensor Core图形处理器(GPU)使该演示成为可能。神经网络的工作原理是首先对场景进行高级描述,例如描述对象所处位置及其一般特征,如图像的特定部分是否包括汽车或建筑物,或者物体边缘的位置,然后神经网络会根据其在真实世界视频中学到的知识丰富详细信息。

5. Google已经使用神经网络去分析检查海量的卫星图片,并依托于深度学习,在线识别互联网用户上传的照片,分析照片中的人脸或者其他物体。在Google街景项目中分析地面照片,编辑在线地图的时候,Google之前需要用人工编辑来保证建筑物和地址一一对应,现在可以由神经网络完成。

另外在虚拟现实方面,Google的虚拟现实设备Cardboard,以及Google和GoPro合作推出的16个镜头组的360度全景相机,都是为虚拟现实服务的。根据卫星图像以及街景图像,Google已经建立了欧洲名城布拉格的3D模型,这也意味着,过不了多久,我们就可以用虚拟现实设备感受身临其境的布拉格。此外,Cardboard推出了一个Google 探险项目,通过虚拟现实去远方探险,某种程度上说,是为了让人更身临其境地去了解这个星球,以及星球上所发生的改变。