在虚拟现实成像技术中，最为人所知的，是双目成像。例如电影产业中的IMAX公司于2011年推出的“Phantom 65 IMAX 3D camera”，4K双镜头3D摄像机。双镜头或者说双目成像，模拟双眼接收到的不同图像，形成三维立体视觉，来呈现接近自然的视觉效果。但双目成像由于拍摄的视角是固定的，对于观赏者的自由度是有着严格的限制的，不允许用户改变视角。而能够让用户随时改变视角，在各个角度提供3D视觉效果，就得靠全景成像了。

全景成像，是虚拟现实的一个重要的支撑技术。全景成像，可以有广义和狭义两种理解。广义的理解，是能够采集360°，包括前后左右各个方向的，图像的各种成像方法。狭义上的理解，是通过光学方法，将360°的环境映射到一个相机中的成像方法。这个事对于近些年才接触全景成像的同行来说，还是很奇怪的。

其实背后的原因也不难理解。电子产业和成像技术的飞速发展，也就是最近二十年的事。仅仅在十年以前，成像传感器也还是很昂贵和稀缺的。不像现在，为了实现全景成像，最常见的就是简单粗暴用一组六个、八个相机采集图像，经过标定后拼接起来。在成像传感器成本高昂的时代，工程师们都是尽可能地通过巧妙的设计，用尽量少的相机解决问题。

Insta360影石TITAN相机使用八个传感器拼接，实现全景图像采集。

（图片引用自官方网站：https://www.insta360.com/cn/product/insta360-titan/）

国防科技大学的NuBot从2004年到2014年结构都没有太大的变化，

都是使用了全景成像摄像机采集全景地图来做机器人定位。

（图像引用自：Xiao J., Xiong D., Yao W., Yu Q., Lu H., Zheng Z. (2017) Building Software System and Simulation Environment for RoboCup MSL Soccer Robots Based on ROS and Gazebo. In: Koubaa A. (eds) Robot Operating System (ROS). Studies in Computational Intelligence, vol 707. Springer, Cham. https://doi.org/10.1007/978-3-319-54927-9_18）

典型的足球机器人使用全景成像来做实时定位和地图构建（SLAM），

同时还有用于精确物体检测的前向成像系统。

（图像引用自：Xiao J., Xiong D., Yao W., Yu Q., Lu H., Zheng Z. (2017) Building Software System and Simulation Environment for RoboCup MSL Soccer Robots Based on ROS and Gazebo. In: Koubaa A. (eds) Robot Operating System (ROS). Studies in Computational Intelligence, vol 707. Springer, Cham. https://doi.org/10.1007/978-3-319-54927-9_18）

除了成本低以外，单一相机全景成像其实还有一个额外的优点，就是成像参数一致。在组合多个相机进行全景成像时，最常遇到的一个问题，就是如何统一多个相机的白平衡和快门时间。经常会出现的情况，就是在全景成像的过程中，不同相机前，光照强度或色彩出现比较大的差异时，即使多相机的几何拼接是正确的，但由于灰度和色彩的明显差异，会在拼接线附近形成明显的差别。即使通过融合的方法进行模糊化处理，也会发现不同方向的图像，在灰度和色彩上，会有较大的变化，影响全景成像的质量。但使用单一相机全景成像时，就不会出现这样的问题。因为单一相机全景成像，是共享同一套成像参数，相对来说，比较简单地依靠传感器自身的自动调节功能来进行成像参数的自动调节。

双相机拼接也可以实现低成本全景成像，

但图像拼接消耗运算能力，图像参数的校正难以完美实现。

（米家全景相机图像引用自小米官方网站：https://www.mi.com/mj-panorama-camera）

单一相机全景成像，具体的实现方法，主要是靠反射或者说是折反射式成像光路，来实现360°成像的。实践中，有两种方式，双反射镜方案，和单反射镜方案，入下图所示。

图示为使用双反射镜的全景成像：1. 相机；2. 上反射镜；3. 下反射镜；4. 盲区（相机自身的像）；5. 视野（所有的浅蓝色区域）

（图像引用自 Wikipedia）

图示为单反射镜的全景成像方案中，物体在成像平面成像的示意图。

（图像引用自：E. Menegatti, E. Pagello and M. Wright, "Using omnidirectional vision within the spatial semantic hierarchy," Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No.02CH37292), Washington, DC, USA, 2002, pp. 908-914 vol.1, doi: 10.1109/ROBOT.2002.1013472.）

从以上示意图中可以观察到，全景成像得到的图像，都i是高度扭曲的。这个很容易理解，为了获取到360°的视野，将一个三维空间映射到到一个二维图像传感器平面，难以避免的，会出现较大的成像畸变。为了感性的理解具体的成像效果，可以参考下图中的模拟图。

左侧为一个模拟室内场景，右侧是该室内场景的全景成像模拟图

（图像引用自：E. Menegatti, E. Pagello and M. Wright, "Using omnidirectional vision within the spatial semantic hierarchy," Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No.02CH37292), Washington, DC, USA, 2002, pp. 908-914 vol.1, doi: 10.1109/ROBOT.2002.1013472.）

从以上模拟途中可以观察到，环绕相机的直线变成了圆，其实是镜像的直线保留，而周向（垂直与径向）的直线会投影为圆锥曲线。在如下的一个简化模型中，给定反射镜中心O，上极点B（反射镜为抛物面，如果是椭圆面或双曲面B点低于上极点），空间点M(X,Y,Z)在成像平面上的坐标m(x,y)符合以下公式。

中心对称折反射投影统一模型

（图像引用自：Florence Jacquey, Frédéric Comby, Olivier Strauss, Fuzzy edge detection for omnidirectional images, Fuzzy Sets and Systems, Volume 159, Issue 15, 2008, Pages 1991-2010, ISSN 0165-0114, https://doi.org/10.1016/j.fss.2008.02.022.）

单一相机全景成像，虽然可以通过图像校正拿到正常图像，但受限于传感器的分辨率，一般比较难用于具体的工业检测和物体识别，更多的用于环境定位。但在一些其它的场景，也得到广泛的应用，例如管道维修检测，血管全景成像。

又例如在新型生物特征识别领域，可以在门把手形状的狭小空间内获取手掌图像，用于身份识别，不仅取得了良好的识别效果，并与生活应用紧密相接。

左上为门把手识别演示系统；右上为门把手识别系统的组成结构；

下面是成像得到的图像。

（图像应用自网页：http://www.quxiaofeng.me/doorknob/cn/）

全景成像，由于相对不直观的成像方式，以及略有难度的图像校正，一直没有得到广泛的认可。随着嵌入式端计算能力的不断提升，随着5G通讯的铺开，大像素全景图像和视频的广泛应用，全景成像必然获得更多的关注，得到更多的应用。