全息近眼显示（holographic near-eye display）是AR/VR的发展趋势，从用户的角度来讲，极致的体验包含舒适性（comfort）和沉浸式体验（immersion）两个方面，如图1所示。舒适性与可穿戴性（wearability）和视觉舒适性这两项相关，这两项又包含了五个小方面：形状因子，散斑噪声，视窗(eyebox)，调节眼睛的焦距，和全彩色显示。而沉浸式体验与视场（FOV），显示的分辨率，以及实时交互这三项紧密相关。

图1. 从以人为中心的视角分类全息近眼显示。

为了能提供舒适性和沉浸式的体验，就必须围绕人类视觉系统（human visual system）设计硬件。人眼也是一个自然进化的光学成像系统，光线通过一个可调大小的虹膜进入眼睛，也就控制了进入眼睛的光通量。光经过角膜和晶状体的折射在视网膜形成一个像，接着光感受器（photoreceptor）把光信号转换成电信号，然后这些电信号被传到大脑之前在视网膜上经过重要的信号处理（例如，受水平细胞的抑制），最后由大脑基于多视觉线索解释图片和感知三维空间的物体。我们人类拥有双目视觉，水平视场可以达到几乎200◦，其中双目重叠的视场有120◦。图2显示了人的双目视觉系统的水平角度区域的范围[1]，而垂直视场接近于130◦。在VR/AR领域里有一个共识是要求VR和AR最小的视场分别为100◦ and 20◦[2]。光感受器密度在视网膜的中心区域和周围区域有着显著地变化[3]，视敏度也是极高地依赖于光感受器密度。视网膜的中心是一个中央凹（fovea）区域，拥有着最高的光感受器密度和5.2◦的视场（FOV），而在中央凹以外的区域，视敏度就开始急剧下降。光感受器的均匀分布是自然进化的结果，用以调节眼睛这个透镜的轴上和轴外（on/off-axis）的分辨率。因此，为了有效地利用显示像素，一个近眼显示必须被优化以便提供一个符合视网膜的视敏度的变化的分辨率。人眼作为一个三维视觉系统提供了深度线索（depth cue），也可进一步被分为生理深度线索和心理深度线索。生理深度线索包括调节眼睛的焦距，汇聚，和运动视差。辐辏（Vergence）指的是眼睛在相反方向的旋转以至于每个眼睛的视线汇聚在想看清的物体上；而调节眼睛焦距（accommodation）就是调节眼睛晶状体的光功率使得眼睛可以聚焦不同的距离。对一个近眼显示设备来说，至关重要的是把一张图片显示在辐辏距离和眼睛能调节的焦距相等的地方。否则，两者的冲突将会导致用户眼疲劳和不舒服。心理深度线索通过我们对世界的经验启动的，例如，直线透视(linear perspective)，遮挡(occlussion)，阴影(shades)，影子(shadows)以及嵌在二维图像里的纹理梯度(texture gradient)[4]。最后，人眼是在持续不断地运动来帮助获得凝视，以及追踪视觉的刺激。为了保证显示的图像一直是可见的，显示系统的出瞳（exit pupil），即视窗(eyebox)，必须大于眼睛运动的范围（<=12 mm）。在一个显示系统里，视窗(eyebox)和视场（FOV）的乘积是有限的，并且与设备的空间带宽积成正比。因此，增大视窗(eyebox)将会减少视场，反之亦然。虽然设备的空间带宽积可以被复杂的光学方式提高，但是对设备的形状因子妥协。为了缓解这个问题，常用的策略包括把出瞳在一个矩阵上重复[5, 6, 7]和利用眼睛追踪设备。为了最大化舒适度和沉浸式体验，我们必须建立一个可以符合光学结构和人类的视觉系统要求的显示系统。接下来我们主要介绍一下全息近眼显示的舒适性要求的形状因子和散斑噪声方面的问题以及一些解决方法。

图2. 人眼的视野。

1. 形状因子（form factor）

一个设备的形状因子决定了它的可穿戴性（wearability）。一个理想的近场显示设备必须是轻便紧凑的，像一个常规的眼镜一样可以戴一整天，谷歌眼镜的设计就符合这一理念。全息近眼显示系统因为光路简单所以具有小形状因子的优点，关键的光学元件仅由一个相干光源和一个SLM（空间光调节器，spatial light modulator）组成。SLM本质上是一个通过把计算机生成的全息图（CGH：computer-generated hologram）叠加在波前（wavefront）上来调制入射光的振幅或者相位的像素化显示设备。对于AR 近眼显示系统来说，它必须集成一个光合路器（optical combiner），而且必须要考虑这个系统的形状因子。大多数早期的全息近眼显示系统利用一个分束器作为光合路器把从SLM反射的光和从现实世界的物体传过来的光结合在一起，如图3所示。来自SLM的调制光通过自由空间传播被直接导进眼睛的瞳孔或者通过一个额外的4f系统过滤频率[9, 10]或者中继全息图(如图3（b）所示)[8]。Ooi等为了实现一个具有较大视窗(eyebox)的透视（see-though）电子全息眼镜（electro-holography glass）也把多个分束器嵌入到一个单元[11]。

图3. 把分束器作为光学合成器的全息透视（see-through）近眼显示。（a）概念原理图，（b）通过一个4f系统把全息图中继并反射到眼睛里。

尽管被广泛用于概念验证型的演示，考虑到形状因子分束器并不是一个理想的光学元件，因为它是立方体的形状。而全息光学元件（Holographic optical element ：HOE）可以作为一个备选方案，因为它比较薄，也比较平，还能实现分束器的功能。作为一个体全息图，HOE只调制匹配布拉格法则的入射光（Bragg-matched incident light）而不管不匹配布拉格法则的光（Bragg-mismatch light）。当实现全息近眼显示系统时，HOE把来自SLM的匹配布拉格法则的光重定向到眼睛的瞳孔，并且在没有增加额外光功率的情况下把现实世界的场景也传送到人的眼睛里。而且，把各种波长记录在HOE上的能力使HOE可以取代很多传统的光学元件，比如透镜和光栅，进一步减小了设备的体积。

Ando等在1999年第一个实现了HOE的近眼显示系统[14]。在一个全息近眼显示系统里，HOE通常被部署在离轴装置里，如图4（a）所示，而来自SLM的光以一个倾斜的入射角照射到HOE上。HOE可以被制造成一个集成反射镜和透镜的多功能设备，比如HOE可以被当作一个椭圆形曲面反射镜[12，15]，也可以被当成一个扩束器[16]。弯曲的HOE也可减小形状因子，并且扩大系统的FOV，提高成像质量[17]。为了更进一步地使光学元件扁平和最小化整个系统，Martinez等把HOE和一个平面波导结合在一起取代了离轴的照明模式[18]。图4（b）显示的是一个经典的装置图，光都是从HOE被耦入（coupled into）和耦出（coupled into）波导[13, 18, 19]。这里注意一下，传统的HOE是通过两束光干涉生成的[20]。在记录过程中由于被全息材料的小折射率所限，传统的HOE只能用于窄频谱带宽和窄角带宽的单色光。最近在超表面[21, 22]和液晶[23, 24]上的进步也提供了相应的可选的解决方案。比如，Huang等利用了一个超表面结构作为CGH来解复用不同波长和不同偏振方面的光，以此验证了一个多色的且偏振选择的近眼显示系统[21, 22]。

图4. 全息光学元件被用作一个光合路器. (a) 离轴HOE几何构型[12]，(b) 波导（Waveguide）几何构型[13]。

2. 散斑噪声（Speckle Noise）

全息显示因为相干性的要求通常利用激光作为照明光源。然而，激光会引入散斑噪声，一个颗粒状的图案叠加在了图像上面。为了抑制这种散斑噪声，我们可以采用三种策略，叠加（superposition），空间相干性的构造（spatial coherence construction），和时间相干性的解构（temporal coherence destruction）。在基于叠加的方法里，我们首先通过给复振幅加上统计独立的随机相位计算出同一个3D物体的一系列全息图，接着在眼睛的反应时间内连续地把它们显示在SLM上，如图5（a）所示。 由于在空间随机性，重建的3D图像的加在一起的散斑的平均对比度就被降低了，从而提高了图像质量[23]。这个方法主要被用于层式的3D模型[8,24]，因为全息图的计算比较快。或者，我们也可以利用高速平均散斑的设备，比如旋转扩散器和震动扩散器。图5（b）就展示了一个在激光光源前面放置一个旋转扩散器的叠加（superposition）的例子。在这种情况下，散斑图案在SLM的帧时间内被平均。散斑噪声一般是由重叠的（成像的）点扩展函数里的破坏性的空间干涉导致的[25]。我们可以主动操作空间相干性结构来减轻这种问题。在这类策略里最重要的方法是可以对全息图引入建设性干扰的复振幅调制。与给波前强加一个随机相位不同的是，复振幅调制利用了一个平滑的位相图（比如一个均匀相位）在重叠的成像点之间进行相长干涉。为了用纯相位或者纯振幅CGH合成一个预期的复振幅场，我们可以利用解析复用（analytic multiplexing）[26，27], 双相位分解[28，29]，双振幅分解[10]，能优化的相位恢复[30，31，32]，和神经全息术（neural holography）[33]。图5（c）展示了一个把复波前分解成两个相位的全息图并把它们加载在SLM的不同的区域上的一个例子。这个系统利用一个全息光栅滤波来结合全息图和重建复振幅的3D图像[10]。这个方法的主要缺陷是它要求复波前只包含低频，导致了物体方面有较小的数值孔径（NA）。这样增加了景深（DOF）因此也就削弱了焦点线索（focus cue）。Makowski等提供了一个替代的解决方案，在相邻的像素之间引进一个空间的分割来避免图像空间的重叠，因此祛除了虚假的干扰[25]。最后，利用一个较低的时间相干性的光源也可以抑制散斑噪声。部分相干光源，比如超发光二极管（sLED）和微型LED（mLED），就是被用来抑制散斑噪声的[34]。一个非相干光也可以利用空间滤波器来保持时间的非相干性而塑造它的空间相干性。比如，一个被空间滤波的LED光源就被验证可以减低全息显示的散斑噪声[35, 36]。最近Olwal等把这个方法延展到一个LED阵列并且验证了高质量的3D全息术[37]。使用部分相干光的缺点有图像清晰度（sharpness）的降低和深度范围的缩短。然而，后者可以通过把图像重建在离SLM很近的地方，再用一个可调透镜（tunable lens）[38]或者一个目镜（eyepiece）[39]延长深度范围。

图5. 抑制散斑噪声的三种方法：（a）把多个CGH重叠，（b）旋转扩散器，（c）用单个CGH进行复振幅调制。

这篇文章围绕人的视觉系统介绍了近眼显示系统的形状因子的要求和降低散斑噪声的一些常用的方法。下面我们会继续围绕视觉的舒适性介绍视窗(eyebox)，调节眼睛焦距（accommodation），以及全彩色显示方面的内容。

参考文献

1.B. C. Kress, “Human factors,” in Optical Architectures for Augmented-, Virtual-, and Mixed-Reality Headsets (SPIE, 2010).

2.B. Kress and T. Starner, “A review of head-mounted displays (HMD) technologies and applications for consumer electronics,” Proc. SPIE 8720, 87200A (2013).

3.C. A. Curcio, K. R. Sloan, R. E. Kalina, and A. E. Hendrickson, “Human photoreceptor topography,” J. Comp. Neurol. 292, 497–523 (1990).

4.B. Lee, “Three-dimensional displays, past and present,” Phys. Today 66(4), 36–41 (2013).

5.H. Urey and K. D. Powell, “Microlens-array-based exit-pupil expander for full-color displays,” Appl. Opt. 44, 4930–4936 (2005).

6.T. Levola, “Diffractive optics for virtual reality displays,” J. Soc. Inf. Disp. 14, 467–475 (2006).

7.C. Yu, Y. Peng, Q. Zhao, H. Li, and X. Liu, “Highly efficient waveguide display with space-variant volume holographic gratings,” Appl. Opt. 56, 9390–9397 (2017).

8.J.-S. Chen and D. P. Chu, “Improved layer-based method for rapid hologram generation and real-time interactive holographic display applications,” Opt. Express 23, 18143–18155 (2015).

9.E. Moon, M. Kim, J. Roh, H. Kim, and J. Hahn, “Holographic head-mounted display with RGB light emitting diode light source,” Opt. Express 22, 6526–6534 (2014).

10.Q. Gao, J. Liu, X. Duan, T. Zhao, X. Li, and P. Liu, “Compact see-through 3D head-mounted display based on wavefront modulation with holographic grating filter,” Opt. Express 25, 8412–8424 (2017).

11.C. W. Ooi, N. Muramatsu, and Y. Ochiai, “Eholo glass: electroholography glass. a lensless approach to holographic augmented reality near-eye display,” in SIGGRAPH Asia 2018 Technical Briefs (ACM, 2018), p. 31.

12.A. Maimone, A. Georgiou, and J. S. Kollin, “Holographic near-eye displays for virtual and augmented reality,” ACM Trans. Graph. 36, 85 (2017).

13.H.-J. Yeom, H.-J. Kim, S.-B. Kim, H. Zhang, B. Li, Y.-M. Ji, S.-H. Kim, and J.-H. Park, “3D holographic head mounted display using holographic optical elements with astigmatism aberration compensation,” Opt. Express 23, 32025–32034 (2015).

14.T. Ando, T. Matsumoto, H. Takahashi, and E. Shimizu, “Head mounted display for mixed reality using holographic optical elements,” Mem. Fac. Eng. 40, 1–6 (1999).

15.G. Li, D. Lee, Y. Jeong, J. Cho, and B. Lee, “Holographic display for see-through augmented reality using mirror-lens holographic optical element,” Opt. Lett. 41, 2486–2489 (2016).

16.P. Zhou, Y. Li, S. Liu, and Y. Su, “Compact design for optical-see-through holographic displays employing holographic optical elements,” Opt. Express 26, 22866–22876 (2018).

17.C. Martinez, V. Krotov, B. Meynard, and D. Fowler, “See-through holographic retinal projection display concept,” Optica 5, 1200–1209 (2018).

18.W.-K. Lin, O. Matoba, B.-S. Lin, and W.-C. Su, “Astigmatism correction and quality optimization of computer-generated holograms for holographic waveguide displays,” Opt. Express 28, 5519–5527 (2020).

19.J. Xiao, J. Liu, Z. Lv, X. Shi, and J. Han, “On-axis near-eye display system based on directional scattering holographic waveguide and curved goggle,” Opt. Express 27, 1683–1692 (2019).

20.“Holographic optical elements and application,” IntechOpen, https://www.intechopen.com/books/holographic-materials-andoptical-systems/holographic-optical-elements-and-application.

21.Z. Huang, D. L. Marks, and D. R. Smith, “Out-of-plane computer-generated multicolor waveguide holography,” Optica 6, 119–124 (2019).

22.Z. Huang, D. L. Marks, and D. R. Smith, “Polarization-selective waveguide holography in the visible spectrum,” Opt. Express 27, 35631–35645 (2019).

23.J. Amako, H. Miura, and T. Sonehara, “Speckle-noise reduction on kinoform reconstruction using a phase-only spatial light modulator,” Appl. Opt. 34, 3165–3171 (1995).

24.C. Chang, W. Cui, and L. Gao, “Holographic multiplane near-eye display based on amplitude-only wavefront modulation,” Opt. Express 27, 30960–30970 (2019).

25.M. Makowski, “Minimized speckle noise in lens-less holographic projection by pixel separation,” Opt. Express 21, 29205–29216 (2013).

26.X. Li, J. Liu, J. Jia, Y. Pan, and Y. Wang, “3D dynamic holographic display by modulating complex amplitude experimentally,” Opt. Express 21, 20577–20587 (2013).

27.G. Xue, J. Liu, X. Li, J. Jia, Z. Zhang, B. Hu, and Y. Wang, “Multiplexing encoding method for full-color dynamic 3D holographic display,” Opt. Express 22, 18473–18482 (2014).

28.Y. Qi, C. Chang, and J. Xia, “Speckleless holographic display by complex modulation based on double-phase method,” Opt. Express 24, 30368–30378 (2016).

29.C. Chang, Y. Qi, J. Wu, J. Xia, and S. Nie, “Speckle reduced lensless holographic projection from phase-only computer-generatedhologram,” Opt. Express 25, 6568–6580 (2017).

30.C. Chang, J. Xia, L. Yang, W. Lei, Z. Yang, and J. Chen, “Specklesuppressed phase-only holographic three-dimensional display based on double-constraint Gerchberg–Saxton algorithm,” Appl. Opt. 54, 6994–7001 (2015).

31.P. Sun, S. Chang, S. Liu, X. Tao, C. Wang, and Z. Zheng, “Holographic near-eye display system based on double-convergence light Gerchberg-Saxton algorithm,” Opt. Express 26, 10140–10151 (2018).

32.P. Chakravarthula, Y. Peng, J. Kollin, H. Fuchs, and F. Heide, “Wirtinger holography for near-eye displays,” ACM Trans. Graph. 38, 213 (2019).

33.Y. Peng, S. Choi, N. Pandmanaban, and G. Wetzstein, “Neural holography with camera-in-the-loop training,” in SIGGRAPH Asia (ACM, 2020).

34.Y. Deng and D. Chu, “Coherence properties of different light sources and their effect on the image sharpness and speckle of holographic displays,” Sci. Rep. 7, 5893 (2017).

35.T. Kozacki and M. Chlipala, “Color ho