以人为中心的角度概述全息近眼显示技术-张鑫博士

2021-10-21

全息投影技术可以将物体或场景展现的非常真实,并且呈现出三维的立体情境,因此被广泛应用在各个行业以及各个场合。用于虚拟和增强现实(virtual reality reality/augmented reality, VR/AR)的可穿戴近眼显示器近年来增长迅猛。虽然研究人员正在开发大量的技术来创建逼真的三维物体,但他们缺乏对人类感知在指导硬件开发中的作用的认识。最终的VR/AR头盔必须将显示器、传感器和处理器集成在一个紧凑的外壳中,人们可以舒适地佩戴很长时间,同时允许优越的沉浸体验和用户友好的人机交互。与其他三维显示器相比,全息显示器在提供自然深度线索和纠正人眼像差方面具有独特的优势。因此,它有望成为下一代VR/AR设备的实现技术[1]。

1.基础设施建设

基础设施建设中,网络条件已具备,云AR将加速行业普及。5G和WiFi6的高带宽、低延迟特性适合承载VR/AR业务,将丰富以超高清流媒体为主的使用场景,同时无线化的终端设备大幅提升用户体验,进一步支持室外场景的设备应用。基于云计算的云AR服务可有效解决设备高成本及高重量不宜佩戴的痛点,推动行业普及和内容开发[2]。

2. 技术回顾

近眼显示器是虚拟现实(VR)和增强现实(AR)的实现平台,有望给医疗保健、通信、娱乐、教育、制造等领域带来革命性的变革。理想的近眼显示器必须能够在大视场(field of view, FOV)内提供高分辨率图像,同时支持调节提示和具备紧凑外形的大眼框。然而,由于在分辨率、深度提示、FOV、眼框和形状因素之间的各种权衡,我们仍然离这个目标有相当的距离。因此,缓解这些权衡,为开发下一代近眼显示器开辟了一条有趣的道路。

近眼显示系统的关键要求是呈现一个自然的三维(3D)图像,以获得真实和舒适的观看体验。早期的技术,如双目显示器[3],通过立体视觉提供3D视觉。尽管这种类型的显示器被广泛应用于商业产品,如索尼PlayStation VR和Oculus,但却存在着趋近适应冲突(vergence-accommodation conflict, VAC),即眼睛的趋近距离与焦距之间的不匹配[4],导致视觉疲劳和不适。追求正确的对焦提示是当前近眼显示的驱动力。代表性的适应支持技术包括多聚焦显示、光场显示和全息显示。为了再现3D图像,多焦/变焦显示器使用空间或时间多路复用创建多个焦平面[5],而光场显示器使用微透镜[6-8]、多层液晶显示器(liquid crystal displays, LCDs) [7]或镜面扫描仪[8]调制光线角度。尽管这两种技术都有使用非相干光的优势,但它们是基于射线光学的,这种模型只能提供粗糙的波前控制,限制了它们产生准确和自然聚焦提示的能力。

相比之下,全息显示器通过衍射光学元件调制光来编码和再现波前,从而实现像素级聚焦控制、像差校正和视觉校正[9]。全息显示器通过数字全息叠加将三维物体发出的波前编码为数字衍射图形计算机生成全息图(computer-generated hologram, CGH)。通过在空间光调制器(spatial light modulator, SLM)上显示CGH,然后用相干光源照明,可以实现物体的光学重建。基于衍射,全息显示提供了更多的自由度来操纵波前比多焦/变焦和光场显示,从而实现更灵活的控制调节和深度范围。

图片1.png

图1 从以人为中心的角度对全息近眼显示器进行分类

从观看者的角度来看,终极体验有两个特点:舒适和沉浸。舒适感与穿戴性、前庭感觉、视觉感知和社交能力有关,沉感涉及视场、分辨率、手势和触觉交互。为了提供这样的体验,硬件设计必须围绕着人类的视觉系统。由此,以人为中心视角出发,可以将全息近眼显示分为两大类,如图1所示。

3. 人类视觉系统

人眼是一种自然进化的光学成像系统。光线通过可调节的虹膜进入眼睛,虹膜控制光线的传输量。经过角膜和晶状体的折射后,光在视网膜上形成图像,在视网膜上感光器将光信号转化为电信号。这些电信号随后在视网膜上经过重要的信号处理(例如,受到水平细胞的抑制),然后再进入大脑。最后,大脑解释图像并基于多个线索在 3D 中感知对象。

图片2.png 

图2 人眼的视场图示

如图2为人眼的视场示意图。人眼的知识对于以人为中心的优化至关重要,为硬件设计提供了基础。为了最大限度地提高舒适性和沉浸式体验,我们必须建造最适合人类视觉系统光学结构的显示器。

4. 全息近眼显示:舒适感

A. 可穿戴性

设备的形状决定了其耐磨性。理想的近眼显示器必须像普通眼镜一样轻巧紧凑,可以舒适地佩戴一整天。与其他技术相比,全息近眼显示技术具有光学简单的优点,其关键部件仅由相干光源和SLM组成。SLM本质上是一种像素化显示器,它可以通过在波前叠加一个CGH来调节入射光的振幅或相位。

B. 视觉舒适感

(1)眼框

在无透镜全息近眼显示器中,SLM的主动显示区域决定了系统的出瞳,从而决定了眼盒。

(2)斑点噪声

由于相干性的要求,全息显示通常使用激光器作为光源。然而,使用激光会产生斑点噪声,即叠加在图像上的粒状强度图案。为了抑制散斑噪声,可以采用叠加、空间相干构造和时间相干破坏三种策略。

(3)调节

通过基于物理光传播和干涉计算CGH,可以准确解决全息显示器中的调节线索。在基于物理的CGH计算中,虚拟3D对象是由点发射器或多边形贴图的波前数字表示的。这两种模型通常需要密集的点云或网格采样来再现连续而平滑的深度线索。虽然从点云或基于多边形的三维模型加速计算CGH的方法很多,但这种基于物理的CGH在实时处理海量数据方面面临挑战。

(4)全彩色显示

由于CGH对波长很敏感,对全息近眼显示器来说,显示颜色是一个挑战。全彩再现有两种方法:时间分割和空间分割。

5. 全息近眼显示:沉浸感

A. 视场

视场被定义为物体所跨越的角度或距离范围。在全息显示中,SLM(加载菲涅耳全息图或傅立叶全息图)一般位于显示系统的出瞳处,因此SLM的衍射角度决定了全息图像的最大尺寸,从而决定了系统的视场。

B. 分辨率和注视点渲染

目前大多数商业近眼显示器的角度分辨率为每度10-15像素(ppd),而正常成年人的视力约为60 ppd。像素化的图像危及身临其境的体验。利用凹点显示技术提高了中心视觉(~±5o)的分辨率,同时用更少的像素绘制外围区域。当与眼动跟踪相结合时,凹形显示器可以提供一个大的视场和更高的感知分辨率。常用的实现方法是使用多个显示面板来创建不同分辨率的图像。

C. 实时交互

(1)手势和触觉交互

人机交互是提高沉浸体验必不可少的环节。在虚拟现实系统中,当用户在显示环境中体验虚拟物体时,手势或触觉反馈被广泛应用,提供更逼真的感觉来模拟物理交互过程。

(2)实时的GCH计算

对于目前的全息近眼显示,由于涉及到巨大的3D数据,CGHs通常是离线计算的。对于实时交互,快速CGH计算是关键,可以通过快速算法和硬件改进来实现。

6. 结束语

对AR/VR设备的需求一直在增长。要将这项技术从基于实验室的研究转化为消费者市场,创造舒适沉浸式观看体验的能力至关重要。全息近眼显示器通过提供精确的逐像素聚焦控制,在解决这一未被满足的需求方面具有独特的优势。本文以人为中心回顾这一领域的进展,希望这样一个视角能够激发新的思维,唤起人们对人类视觉系统在指导未来硬件设计中的作用的认识。

参考目录:

[1] Chang C ,  Bang K ,  Wetzstein G , et al. Toward the next-generation VR/AR optics: a review of holographic near-eye displays from a human-centric perspective[J]. Optica, 2020, 7(11):1563.

[2] VRAR硬件产业研究报告:产业链日趋成熟,行业爆发在即. https://www.vzkoo.com/doc/37802.html?a=1&keyword=AI%E7%A1%AC%E4%BB%B6

[3] Y. Wang, W. Liu, X. Meng, H. Fu, D. Zhang, Y. Kang, R. Feng, Z. Wei, X. Zhu, and G. Jiang, “Development of an immersive virtual reality headmounted display with high performance,” Appl. Opt. 55, 6969–6977 (2016).

[4] E. Peli, “Real vision & virtual reality,” Opt. Photon. News 6(7), 28 (1995).

[5] W. Cui and L. Gao, “All-passive transformable optical mapping near-eye display,” Sci. Rep. 9, 6064 (2019).

[6] D. Lanman and D. Luebke, “Near-eye light field displays,” ACM Trans. Graph. 32, 220 (2013).

[7] F.-C. Huang, K. Chen, and G. Wetzstein, “The light field stereoscope: immersive computer graphics via factored near-eye light field displays with focus cues,” ACM Trans. Graph. 34, 60 (2015).

[8] C. Jang, K. Bang, S. Moon, J. Kim, S. Lee, and B. Lee, “Retinal 3D: augmented reality near-eye display via pupil-tracked light field projection on retina,” ACM Trans. Graph. 36, 190 (2017).

[9] K. Wakunami, P.-Y. Hsieh, R. Oi, T. Senoh, H. Sasaki, Y. Ichihashi, M. Okui, Y.-P. Huang, and K. Yamamoto, “Projection-type see-through holographic three-dimensional display,” Nat. Commun. 7, 12954 (2016).