摘要：本文介绍了光场的概念，总结了目前国内外研究的光场的采集、光场显示的方案，并具体介绍了当前主要的两种方案，分别为基于微透镜的光场采集方案以及基于集成成像技术的光场显示方案。

光场技术是目前最受追捧的下一代显示技术，谷歌、Facebook、Magic Leap等国内外大公司都在大力布局。本篇文章就来谈谈什么是光场技术以及光场显示技术的类型和研究情况。

1、光场的概念

光场（light field）的定义，最早可以追溯到1846年法拉第给出的定义，就是指光在每一个方向通过每一个点的光量。光场字面理解就是由光线组成的场，场那就一定是三维空间的，光场就是三维世界中光线集合的完备表示。而我们就日常生活在各种各样的光场中，我们的眼睛也可以自然习惯的观察各种光场。随着时间的变化，眼前的光场可能会有各种各样的颜色、方向、位置。很自然地，我们可以用一个叫全光函数（Plenoptic function）去描述眼前的光场，如式（1）所示。

P=（x，y，z，θ，φ，λ，t）     （1）

它记录了在一个三维场景的任意一点（x，y，z）沿任意方向(θ，φ)，在某一时间t, 在某一波长λ上的光强。7个变量，看似有点复杂，下面我们来简化一下。不考虑颜色随时间的变化也就是我们将光场瞬间凝固，全光函数变成如式（2）所示，不过还是有些复杂。

P=（x，y，z，θ，φ）           （2）

（1）                  （2）

图1 （1）5D光场示意图；（2）4D光场模型

如图1（1）所示的鹦鹉，它的反射光场中每条光线都有5个变量，组成了一个5D光场。如果我能用别的方法确定每条光线的信息，能不能简化这个可恶的5D全光函数呢？初中我们学过两点确定一条直线，如果有两个无穷大的平面(u，v)和(s，t)，我只要知道两个平面上两个点的坐标，就知道了这条直线的方向、位置，如果直线就是光线呢？图1（2）就是简化的4D光场模型，只需要4个变量就可以确定一个“瞬间的光场”，如果能用显示器去控制这个瞬间光场变化，就成了一个动态的光场显示器了。

2、光场成像与显示

图2左侧红圈内实际上是一个光场相机的简化模型，就是LYTRO和raytrix鼓吹的“先拍照后聚焦”的神奇相机。这个神奇相机内部成像系统可以简化为两个平面，（u，v）是微透镜阵列，(s，t)是底片或CCD。大家都知道我们的眼睛的构成是一个晶状体和后边的视网膜，晶状体就相当于微透镜阵列中的一个小透镜，视网膜就相当于这个小透镜后边的底片。光场相机拍照的一瞬间，相当于有N多个眼睛同时在不同位置看一个物体（或者叫这个物体发出或反射的光场），并同时将眼睛看到的画面记录在后边的底片上。这个具有N多图像的底片实际就记录了这一瞬间的光场。后续利用算法去还原光场就是“先拍照后聚焦”的过程。也就是光场成像。

图2：光场成像和光场显示原理

初中的物理知识告诉我：光线是可逆的。我们将光场相机结构反过来，用一个显示屏（s’,t’）充当相机底片(s,t),另一个微透镜阵列（u’，v’）充当相机里的微透镜阵列（u，v）如果显示屏把底片上记录的“光场”显示出来，那么从透镜阵列出射的光线就构成了一个光场。图2右侧就是集成成像光场显示。

小结一下：光场可以用全光函数来表示，包括位置(3)、方向(2)、时间(1)、颜色(1)七个维度；颜色和时间维度的信息通常是被RGB通道和不同帧表示，而位置、方向可以由两个平面的坐标来描述，即4D光场。以集成成像为例，理解光场成像和光场显示两个互逆过程[1]。

3、研究光场的意义

从光场采集的角度来看，以自动驾驶为例，首先需要通过多种传感器去“感知”外界信息，然后通过类脑运算进行“决策”，最后将决策以机械结构为载体进行“执行”。现阶段人工智能的发展更倾向于“类脑”的研究，即如何使计算机具有人脑类似的决策能力。然而却忽略了“眼睛”作为一种信息感知入口的重要性。设想一个人非常“聪明”但是视力有障碍，那么他将无法自如的驾驶汽车。而自动驾驶正面临着类似的问题。如果摄像机能采集到7个维度所有的信息，那么就能保证视觉输入信息的完备性，而“聪明”的大脑才有可能发挥到极致水平。研究光场采集将有助于机器看到更多维度的视觉信息。

从光场的显示角度来看，以LCD/OLED显示屏为例，显示媒介只能呈现光场中（x, y, λ, t）四个维度的信息，而丢失了其他三个维度的信息。在海陆空军事沙盘、远程手术等高度依赖3D视觉的场景中，传统的2D显示媒介完全不能达到期望的效果。实现类似《阿凡达》中的全息3D显示，是人类长久以来的一个梦想。当光场显示的角度分辨率和视点图像分辨率足够高时可以等效为动态数字彩色全息。研究光场显示将有助于人类看到更多维度的视觉信息[2]。

4、光场采集

光场显示能在视觉上完全重现真实世界，但在显示光场以前首先要采集光场，否则将会是“巧妇难为无米之炊”。传统相机拍摄的2D图片不能用于光场显示[3]，因此需要专业的光场采集设备。相关研究者已经建立了一系列光场采集的理论[4]，并在光场采集技术的发展过程中出现了多种设计方案，受到广泛关注和研究的主要有三种设计思路：（1）基于微透镜阵列的光场采集；（2）基于相机阵列的光场采集[5]；（3）基于编码掩膜的光场采集[6]。

其中，基于微透镜的光场采集方案是商业化光场相机主要采用的方案。基于透镜阵列的光场采集主要依靠在成像传感器与主镜头之间加入一片微透镜阵列，物体表面光线首先经过主镜头，然后经过微透镜，最后到达成像传感器（e.g. CCD/CMOS）。如图3所示，物体表面A点在FOP角度范围内发出的光线进入相机主镜头并聚焦于微透镜，微透镜将光线分成4x4束，并被成像传感器上对应的16个像素记录。类似的，空间中其它发光点，例如B点和C点，在其FOP角度范围内的光线都被分成4x4束并被分别记录。参照光场4D模型，微透镜阵列好比(s, t)平面，成像传感器好比(u, v)平面。在基于微透镜阵列的光场采集模型中，(s, t)平面微透镜的数量决定了光场的图像分辨率。(u, v)平面像素数量决定了能采集光线的总数量，(u, v)平面像素总量与(s, t)平面微透镜数量的比值即为光场角度分辨率，也即采集视点个数。

图3：基于微透镜阵列的光场采集原理示意图

目前已经商业化的光场相机主要包括美国的Lytro和德国的Raytrix。图分别为几家公司采用微透镜阵列的的光场相机。目前已经商业化的光场相机主要包括美国的Lytro和德国的Raytrix。Lytro是一款基于微透镜阵列的手持光场相机。相比传统相机，Lytro的关键设计是在传统相机中嵌入一块微透镜阵列，如图4所示。物体发出的光线被主透镜聚焦在微透镜阵列平面，微透镜阵列将光线分开并被图像传感器分别记录下来，从而同时记录了不同方向上光线的强度。Raytrix是德国一家创业公司，同样是基于微透镜阵列的便携式光场相机[7]。Lytro主要面向大众普通用户，而Raytrix不仅面向普通用户还面向工业和科研应用领域，如图5所示。

图4：美国Lytro基于微透镜阵列的光场相机

图5：德国Raytrix基于微透镜阵列的光场相机

5、光场显示

重现一个真实的三维世界，实现类似于《阿凡达》电影所展示的全息显示，是人类长久以来的梦想。如果能采集并投射出全光函数中7个维度的光线，将能使环境中所有人同时获得身临其境的全息视觉体验。光场作为理想的3D显示技术与传统2D显示有着明显的区别：传统的2D显示器只能提供仿射、遮挡、光照阴影、纹理、先验知识五方面心理视觉信息。光场显示除了能产生传统2D显示器的所有信息外，还能提供双目视差、移动视差、聚焦模糊三方面的生理视觉信息。在光场显示技术发展过程中，出现了多种光场显示技术方案，引起广泛关注和研究的主要有五种技术：（1）体三维显示；（2）多视投影阵列；（3）集成成像；（4）数字全息；（5）多层液晶张量显示。

其中，集成成像最早是将微透镜阵列放于成像传感器之前实现光场采集。光场采集和光场显示的光路是可逆的，因此集成成像技术既可应用于光场采集，又可应用于光场显示[8]。目前已经商业化的裸眼3D电视正是基于集成成像原理。

集成成像也叫超级多视点显示技术，也就是说人眼的每个瞳孔至少包含两个视点（或视区），每个视点可以简单理解成一个方向的画面，至少同时有两幅或多幅画面进入一只眼睛，我们通过一只眼睛的晶状体调节可以看清楚物体不同景深的细节。如图6（1）所示。这个和我们去电影院看3D电影有点类似，3D电影是两只眼睛接收两幅不同画面，而光场显示是一只眼睛至少接收两幅不同画面。我们用棱镜或者光栅就可以实现这种超级多视点光场显示了，如图6（2）所示。

（1）                    （2）

图6：（1）超级多视点显示技术成像原理；（2）棱镜实现超级多视点显示

韩国国立首尔大学Byoungho Lee于2001年将柱面透镜光栅覆盖在LCD表面实现了动态的集成成像3D显示。日本NHK的在1997年采用梯度下标克服了深度有限的问题，并在HDTV上实现了实时的三维显示。东京大学Naemura在2001年实现了集成成像的任意视点合成。国内四川大学于2009年利用2层光栅实现了3D显示，在2010年通过叠加两块具有不同LPI（Line Per Inch）参数的柱面光栅所实现的3D显示具有更小的图像串扰，更大的可视角，如图7所示。北京邮电大学也尝试了两个光栅组合的3D显示。

图7：四川大学采用两层柱面光栅叠加实现的集成成像3D显示

6、Avalon Holographics推出第一代光场显示器

自从Avalon Holographics的第一代原型显示器发布以来，消费者距离完全沉浸式3D体验的科幻梦想更近了一步。该公司目前已经推出了第一代29英寸光场显示器，据该公司介绍，光场显示器是先进的全息显示设计，能够使人们不用佩戴眼镜或者头盔就能够观看到3D效果的图像。这个显示器能够为不同位置具有垂直视差和水平视差的多用户提供实时的观看体验。

图8：Avalon Holographics推出的第一代原型显示器

Avalon Holographics的原型设备是与国防、医学成像和工业设计领域的合作伙伴合作设计的，除此之外，他们还有其他一些项目正在进行中。尽管这些合作关系显示了该产品的早期目标市场，不过其潜在市场肯定不止于此。据介绍，该技术在未来还会有大规模应用，该公司目前的原型用例就为未来的应用提供了一些参考。

来自医药、国防、设计领域的专家都已经见证过这个系统并予以高度赞扬。其中，GE Healthcare的混合现实高级总监Colin Holmes说道，“在看过Avalon的原型机之后，我非常愿意与放射学界的同仁分享他们的愿景，并邀请他们参加我们在北美放射学会召开的先进技术展会。这款设备除了可以支持用户“环顾”GE Healthcare Advantage Workstation上生成的复杂解剖模型以外，还提供了足够的空间以让几个人同时体验3D可视化效果。其硬、软件支持和标准几何文件的交互应用，这一点让这款设备可以轻松地与GE的AW 3D套件兼容，它有望成为现有医学成像工作流程的一部分，有了它我们可以轻松获得团体全息照相体验。”加拿大皇家海军DGMEPM的技术经理Meiz Majdoub指挥官评论：“Avalon Holographics的研发工作非常适合用来实现我们技术部门支持数字海军计划的愿望，特别是在3D可视化和沉浸式体验方面，这两个方面都有助于认知优势（Cognitive Dominance）的提高。通过减少认知负担（Cognitive Load）并支持协同决策，这种3D光场显示器可以提高效率并在关键情况下提供关键优势。在将来，这项技术可能还会解决各种战争领域的问题，当然还有其他尚未知晓的用例。”Whitecap Scientific Corporation的首席执行官Sam Bromley认为，“这种真实3D观看事物的体验直觉上令人着迷。Avalon的全息显示器似乎能触及大脑中的原始物质，它可以帮助用户绕开传统仅仅‘解释’所见事物的混乱思维，它对对象信息的呈现非常得自然。”

Avalon公司参与了三个加拿大联邦政府的国防卓越与安全创新（IDEaS）项目，其中一个已进入第二阶段。自2017年以来，加拿大政府通过加拿大大西洋机会管理局（ACOA）向Avalon Holographics投资超过500万加元，以支持其多个项目，包括新技术的研发和产品开发，还有就是减轻COVID带来的影响[9]。

7、光场技术展望

从全世界光场技术的发展趋势来看，美国硅谷的科技巨头争相布局和储备光场技术，有些甚至已经出现了Demo应用。在光场的采集方面，例如Google在Steam平台上发布的《Welcome to Light Field》、Lytro光场相机。在光场显示方面，例如Magic Leap采用的两层离散光场显示技术、NVIDIA发布的近眼光场显示眼镜、Facebook旗下Oculus的道格拉斯•兰曼团队正在研发的光场VR头盔。

如上所述，光场技术的研究主要分为两大方面，包括光场采集和光场显示。光场采集技术相对更成熟，在某些To B领域已经基本达到可以落地使用的程度。光场显示是偏向To C的产品，个体用户在成本、体积、功耗、舒适度等多方面都极度挑剔。光场显示在多个高校和科研机构已经完成了原形样机的开发，在通往商业化实用的道路上，目前最大的挑战就在于光场显示设备的小型化和低功耗。

在Magic Leap One上市之前，所有商业化的显示设备都是在追求分辨率、色彩还原度等指标的提升，而从来没有显示维度的突破。Magic Leap One是目前全世界范围内第一款具有大于1层呈像平面的商业化头戴显示设备。Magic Leap One的2层呈像平面相比HoloLens的1层呈像平面在视觉体验上并不会带来明显的改善，但是在对长期佩戴所引起的疲劳、不适、近视等问题是会有所改善的。光场显示层数能够从单层增加到2层，这是光场显示技术商业化的良好开端，后续从2层增加到10层甚至20层只是时间的问题了。回顾手机发展历史，手机显示经历了从大哥大时代的单行黑白屏到现在iPhone X约2K全彩显示屏。我相信目前光场显示设备就像30年前的大哥大一样，正处于黎明前的黑暗，必然还需要经历多次的进化。一旦成功，其最终光场显示的效果相对目前的智能手机来说将会是革命性的进步[2]。