• 首页
  • 科学成果
  • 虚拟现实的人机交互技术-眼动追踪技术-彭福来博士

虚拟现实的人机交互技术-眼动追踪技术-彭福来博士

2021-05-12

1. 引言

虚拟现实具有重要的三种特性:沉浸感(Immersion)、交互性(Interactivity)和构想性(Imagination)。虚拟现实的人机交互是指用户以便携、自然的方式通过交互设备与计算机所产生的虚拟世界对象进行的交互, 通过用户与虚拟环境之间的双向感知建立起一个更为自然、和谐的人机环境,是虚拟现实为用户提供体验、走向应用的核心环节。

随着信息技术的发展,人机交互已经从简单的鼠标、键盘、操纵杆等设备输入,延伸到了基于生理信息、姿态、语音等的交互方式,进一步提升了用户的沉浸感,本文对一种新型的虚拟现实交互技术-眼动追踪技术进行简要介绍。

 image.png

图1. 眼动追踪交互技术

2. 眼动追踪技术简介

眼动追踪技术是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪,从而实现监测用户在看特定目标时的眼睛运动和注视方向的目的。

眼睛是人体最为复杂的结构之一,也是人类获取信息的主要的渠道。人眼相当于一个复杂的光学传感设备:角膜和晶状体相当于两个镜片,瞳孔是控制进光量的光圈,视网膜相当于人的眼球从前往后主要由角膜、虹膜、晶状体、视网膜、视神经等组织构成。眼动追踪方法主要分为三类:接触镜测量法、基于眼电图的测量法和基于视频图像分析的测量法。

接触镜测量法是一种侵入式的测量方法,用户需要通过带镜子的隐形眼镜或者磁性巩膜线圈来跟踪眼睛运动的生理学和动力学。这种侵入式眼动仪必须保持使用者头部静止,并未得到广泛的应用。

基于眼电图的方法是通过在眼睛附近放置电极测量眼睛转动过程中的电位差来实现对眼球运动信息的追踪。由于视网膜上的神经密度很高,角膜和视网膜之间存在可测量的电位差,眼球的运动会引起周围电场的变化,这些变化可以通过将电极放置在眼睛附近来测量。这种方法的缺点是需要信号放大器导致成本增高以及受试者脸上必须安装多个电极,佩戴不方便,也未得到广泛应用。

基于视频图像分析的测量法是通过使用图像处理方法来跟踪眼球的位置,具有非侵入、便捷的优点,是目前最常用的方法。根据图像算法不同可以分为巩膜-虹膜边界探测法、双普尔钦像法和瞳孔-角膜反射法(PCCR)。 

巩膜-虹膜边界探测法又被称为巩膜-虹膜反射法。该方法的原理是利用虹膜和巩膜的不同色差,对光的吸收和反射能力不同。当红外光线照射时,巩膜颜色较浅,对光的反射较多,虹膜颜色较深,对光的反射较少。通过检测虹膜和巩膜之间的边界处的反射光量变化对眼球的运动实现跟踪。这种方法虽然容易实施,但由于虹膜相对于人眼图像所占比例很小,上下部分容易受到眼睑遮挡的影响,导致准确度和鲁棒性较低。 

双普尔钦像法是通过利用入射光在眼球不同结构处反射形成的普尔钦斑来提取眼动特征的方法。普尔钦斑是入射光从眼球不同部分反射所形成的光亮图像。普尔钦斑如图2所示。通常可以看到四张普尔钦斑。第一普尔钦斑(p1)是来自角膜外表面的反射,瞳孔-角膜反射法就是利用了第一普尔钦斑和瞳孔间的向量来捕捉眼球运动变化。第二普尔钦斑是来自角膜内表面的反射。第三普尔钦斑是来自晶状体外表面的反射,第四普尔钦斑是由晶状体内表面反射并经过角膜和晶状体自身折射后形成。与前三个不同,第四普尔钦斑是反转图像。双普尔钦像法是通过不断定位跟踪第一和第四普尔钦斑来提取眼球运动信息。这两个普尔钦斑在眼睛做平移运动时移动是相似的,也就是说它们移动的距离和方向与眼睛相同。但在眼球的转动中,它们的距离就会随着转动角的正弦成比例变化,因此眼睛移动的角度可以从两者之间的相对位置获得,且不存在平移引起的误差。

 image.png

图2 普尔钦斑图

瞳孔-角膜反射法是最常用的测量眼球移动的方法,这种方法具有误差小,干扰小,准确性高的特点,是目前眼动追踪中最为普遍的方法。该方法使用近红外光对人眼进行照射,红外光经过角膜反射会留下白色的亮点,当眼球处于不同的转动位置时,经角膜反射的光亮与瞳孔之间形成的向量也不一样(图3),通过摄像机采集瞳孔和角膜反射点之间的向量来计算眼睛的注视方向。瞳孔-角膜反射法有两种不同的光源配置:亮瞳追踪和暗瞳追踪(图4)。这两种方法主要区别在于红外光源相对于相机光轴的位置。在亮瞳追踪方法中,红外光源放置在光轴附近,而在暗瞳追踪中则放置在远处。因此,在亮瞳追踪方法方法中,摄像机记录了被摄体视网膜反射的红外光束,使瞳孔比虹膜亮,而在暗瞳追踪方法中,摄像机未记录反射的红外光束,并且瞳孔变得比虹膜暗。这两种追踪方法检测瞳孔都会受到不同因素影响。例如,在使用暗瞳追踪中,使用者的年龄和周围光线环境等因素可能会对眼镜的追踪功能造成影响。使用者的人种因素也会能够影响两种方式的选择。研究表明,暗瞳追踪适用于拉美和高加索人种,而暗瞳追踪对亚洲人种的效果更好。


 image.png

图3. 瞳孔-角膜反射法原理示意

 image.png

图4 亮瞳和暗瞳示意


3. 虚拟现实与眼动追踪技术结合的方式

(1)基于洞穴式立体投影虚拟环境,通过在房间大小立方体的三至六面墙上进行3D投影,多通道融合形成环绕式虚拟环境。用户可以在虚拟模型中随意移动,并佩戴具有移动眼动追踪功能的立体眼镜设备,来感知3D投影图形并提供眼动数据。

(2)基于头盔式虚拟环境,通过头盔式显示器展现虚拟环境。在头盔式显示器内置相机,直接或通过反射红外光透射可见光的热镜拍摄眼睛,实现实时眼动追踪。该种方式具有轻便、分辨率高、成本低等优势。

4. 结语

通过将虚拟现实与眼动追踪技术相结合,可以让用户获得更加真实的沉浸式体验,并可以准确掌握被试者每一刻的视觉注意信息,为创建沉浸度更高的虚拟场景带来了全新的可能性,在娱乐、购物、医疗等领域具有广阔的应用前景。