基于人工智能技术的疲劳检测研究现状-滕达博士

2021-01-14

疲劳驾驶是引发交通事故的一个重要因素,仅次于超速。疲劳驾驶在专业驾驶员群体中,特别是长途客运物流司机中,表现得尤其普遍。由于驾驶员坐姿和动作长时间固定重复,其生理机能和心理状态缓慢发生变化,导致注意力分散、打瞌睡、视野变窄、信息漏看、反应判断迟钝,出现驾驶操作失误或完全丧失驾驶能力,以至发生碰撞、冲出路面等严重交通事故。研究表明事故发生之前如果驾驶员反应时间提前0.5s,就能避免60%的交通事故。因此,研究设计一种可靠的驾驶疲劳检测系统,对降低道路事故发生概率、减少人员伤亡和财产损失有着极为重要的意义。因此,国务院《国家中长期科学和技术发展规划纲要(2006-2020年)》提出的重点领域及其优先主题中强调了交通运输安全与应急保障:“重点开发交通事故预防预警、应急处理技术,开发运输工具主动与被动安全技术,交通运输事故再现技术,交通应急反应系统和快速搜救等技术。”以下分别从疲劳检测技术发展趋势、数据集发展历程和评价标准三方面展开讨论。

1 疲劳检测技术发展趋势

驾驶员疲劳状态监测系统最早应用于飞机等高级辅助驾驶或自动驾驶程度比较高的领域,初期的驾驶员疲劳监测系统是一种基于人体疲劳时生理反应特征信号的监测系统。根据使用信号属性不同,驾驶员疲劳状态监测系统可分为直接监测和间接监测两种。疲劳驾驶检测和预警是减少交通事故的重要手段,也是国内外学术界和工业界的研究热点。各大汽车生产商、零部件供应商、专业公司、政府机构和科研院所纷纷参与其中。图1总结了目前采用的主要方法。这些方法可以分为两大类:

 image.png

图 1: 疲劳驾驶检测的主要方法

 (1)     非接触式检测,即不需要驾驶员佩戴任何接触身体的传感器的检测方式。这种方式的优点是使用方便,不需要驾驶员有任何额外操作。非接触式检测又可以细分为基于计算机视觉的检测方式和基于人车交互特性的检测方式:

(a)在基于计算机视觉的检测方式中,计算机视觉可以作用于驾驶员也可以作用于车辆本身。

当计算机视觉作用于驾驶员时,一般在前挡风玻璃之后会放置若干摄像头,实时拍摄驾驶员的头部。通过拍摄画面可以分析驾驶员的眨眼频率(驾驶员疲劳时眨眼频率一般会降低)、眼睑闭合度PERCLOS(1分钟内眼睑80%闭合的时间;驾驶员疲劳时眼睑闭合时间通常会增加)、眼球跟踪(观察驾驶员是否正视前方,是否主动检查后视镜和侧视镜)、瞳孔反应(驾驶员疲劳时瞳孔对光线变化的反应会变慢)、点头(驾驶员打 瞌睡时头通常会垂得更低,点头动作会增多)、打哈欠等动作,从而判断驾驶员是否疲劳。如Hardeep等[9]提出一种利用红外光进行人眼定位和跟踪的方法,通过分析眼睛的开闭状态,判断驾驶员的疲劳状态;Mandalapu等通过提取驾驶员嘴部特征、眼部特征和打哈欠特征,构建了一种疲劳检测模型。牛清宁等利用Smart Eye系统提取驾驶员的眼睛数据进行疲劳驾驶检测。Mario等采用红外检测算法实现人脸检测并使用Adaboost进行队眼睛与嘴巴的定位;WeiYun采取HOG、CLNG以及旋转变化算法实现人脸检测。此类方法一般通过图像处理技术来获取行为特征信息,具有非接触和安装方便的特点,但容易受光线、环境、驾驶员个人习惯等影响,影响检测效果。该技术其主要缺点是,拍摄画面效果受光线影响很大,而且驾驶员不能戴墨镜、口罩等遮挡物。另外,摄像头一直对着驾驶员拍摄会有隐私方面的问题,可能会让驾驶员感觉不舒服。更重要的是,驾驶员的这些头部动作也并不一定能准确反应疲劳状态。拿被广泛应用的眼睑闭合度检测法来说,研究发现驾驶员可以在眼睑正常睁开的情形下进入微睡眠状态。

 image.png

图2 科大讯飞驾驶员疲劳检测系统

 image.png

图3 基于人脸识别的疲劳检测流程

(b)   在基于人车交互特性的检测方式中,计算机通过各种传感器获取行车过程中的各种参数,从而判断车辆是否超速、车距是否太近、驾驶员是否及时刹车、方向盘是否及时调整(驾驶员疲劳时调整方向盘的频率会降低)等,来进一步判断驾驶员是否疲劳。从方向盘动作判断驾驶员疲劳状态的方法曾经被尼桑、雷诺和大众采用过,但是效果并不十分理想,主要原因是受路况影响太大,比如在平直空旷的高速公路上,驾驶员可能并不需要调整方向盘,而疲劳检测系统就可能会误报。如Sandberg等通过对车速、车辆横向位置、方向盘转角和航偏角对疲劳进行检测。张希波等采用双时间窗法从方向盘转角中提取出最大零速百分比和最大角度标准差两个指标,构建了疲劳驾驶检测模型。屈肖蕾通过驾驶模拟器提取出方向盘以及车辆状态信息的疲劳特征,构建了基于SVM的疲劳驾驶检测模型。毛喆通过驾驶模拟实验分析驾驶员的横纵向的操作特征并且对比分析了基于PCA的模糊聚类以及神经网络的检测方法。第三类方法往往可以使用车辆已有传感器采集数据进行指标构建,具有非接触、数据来源丰富、成本低等优点,但也存在非直接检测、准确率不高等缺点。由于驾驶员是否较难采集,此方面研究多以模拟实验和驾驶实验数据为主,很少使用驾驶人非实验数据的研究成果,很难满足实际使用的需求。

 image.png

图4 通过车道线和车的位置检测驾驶员疲劳情况

(2)    接触式检测,即需要驾驶员佩戴接触身体的传感器来采集生理信号。这些生理信号包括脑电图(驾驶员瞌睡时8-13赫兹的alpha波活动减少,4-8赫兹的theta波活动增加)、心电图(驾驶员瞌睡时心率变化会变慢)、肌电图(肌电的频率随着疲劳的产生和疲劳程度的加深呈现下降趋势,肌电的幅值随疲劳程度增加而增大)、眼电图(检测眼球运动方向和速度)、呼吸、皮肤电传导等。接触式检测的优点是,生理信号理论上是更加准确可靠的疲劳指示,因为它们直接来自人体。另外,生理信号可以在驾驶员疲劳之前就进行预测,而非接触式方法都是根据驾驶员疲劳之后的表现进行判断,所以基于生理信号的疲劳检测可能会提供更充分的预警时间。这种方式的缺点是,驾驶员的身体动作会使测量信号伪迹和噪声增加,降低检测准确度。所以,需要使用各种先进的信号处理滤波算法来去除伪迹和噪声,提高信噪比。另外,驾驶员戴上这些传感器后可能会感觉不舒服,从而有抵触心理,不愿意使用。为了缓解这个问题,目前越来越多的方案开始采用无线技术把生理信号传输到手机或其他移动设备进行处理。更进一步地,有些方案把传感器植入方向盘或者驾驶员座椅。如Yeo等采用支持向量机算法对正常和疲劳状态下的脑电信号进行分类,以此判断驾驶员的疲劳状态。Ma等使用深度学习网络PCANet提高了脑电信号在疲劳分类中的精度与效率。第一类方法准确度较高,但设备昂贵,使用过程中需与驾驶员身体直接接触,在一定程度上会影响驾驶员的操作。

2. 驾驶员疲劳状态数据集发展

早期由于试验条件的限制和出于安全考虑,绝大多数驾驶疲劳试验在驾驶员模拟器上进行。其优点是虚拟交通道路环境不存在碰撞、追尾、偏出车道等危 险工况,可以在从轻度疲劳到严重疲劳全范围内试验;缺点是驾驶员模拟器与真实交通环境存在较大差异,用于疲劳监测方法的探索可以,若用于疲劳监测系统设计则缺乏真实性。

在驾驶员模拟器试验之后,出现了规定工况实车试验。经过改造的试验车辆,按照预先设计好的工况行驶,记录试验数据。如果需要采集驾驶员面部、眼 部、头部运动信息,则需要额外添加传感器和对应的数采设备;如果需要采集驾驶员行为、车辆状态和车辆轨迹信号,一般不需要额外增加传感器,车辆自带传感器即可满足要求。自然驾驶涵盖各种工况,数据能够真实反应各种工况下驾驶员的疲劳状态, 据此设计出来的疲劳监测系统覆盖各种工况下近驾驶 员疲劳的真实状态,精度也就越高。美国在2004年开始组织大规模的自然驾驶试验 ,欧盟紧随其后开始 进行自然驾驶试验。

我国在自然驾驶研究方面起步较晚,第一个自然驾驶研究项目于2012年9月份开展, 由同济大学、通用汽车中国公司和美国弗吉尼亚理工大学交通研究中心共同合作 ,在5辆测试车上安装数据采集设备,监测并记录60位驾驶员在3年内的驾驶 情况,用于分析真实交通环境和驾驶行为特点。

试验时设计若干具有典型特征的工况,例如城市道路直线行驶、乡村道路直线行 驶、高速公路直线行驶,不考虑转弯、变道、侧风、路面 凸起等特殊工况。据此设计出来的驾驶员疲劳状态 监测系统具有比较广泛的适用性,精度也比基于驾驶 员模拟器设计出来的监测系统高,但不适用于某些特殊工况。随着疲劳监测技术的发展和用户对疲劳监测系统精度的要求不断提高,基于自然驾驶数据的疲劳监测 技术研究逐渐成为主流方向。

3. 疲劳状态评价标准

目前驾驶员疲劳程度评价标准按照执行者不同分为自评法和他评法。自评法就是驾驶员根据 KSS (Karolinska Sleepiness Scale)标准每隔一段时间对自己当前状态的疲劳程度打分,将十分清醒到十分疲劳划分为9个等级对应分数1分到9分。

KSS优点:通用性好、精度高,是疲劳程度自评法广泛使用的标准;

缺点:试验人员询问驾驶员疲劳程度与驾驶员回答自己的疲劳程度都会对驾驶员状态的延续产生刺激,影 响驾驶员疲劳程度的评分。他评法分为主观他评法和客观他评法。

主观他评法根据信号源不同分为两种:一种是试验人员首先观察驾驶员面部表情、眼动情况、打哈欠频繁程度等, 然后根据KSS标准给驾驶员当前的状态打分;

第二种是基于驾驶员面部视频的主观他评法,采用摄像头采集驾驶员面部信息,后期处理时对视频进行分段,经过专门训练的多名试验员对某视频片段打分,最后各个试验员的平均评分作为该段视频里驾驶员疲劳程度的分值 。后者较前者的精度高,只需要在车内安装一个采集驾驶员面部视频信息的摄像头,所以基于视频的主观他评法更常用。客观他评法利用驾驶员生理信号判断其疲劳程度,例如心电图、脑电图,尤其是脑电图最能表征驾驶员的疲劳状态 。

综上所述,目前有很多种手段进行疲劳驾驶检测。当前研究和应用的主要困难是,尽管有多种数据可以作为输入信号,但是每一种信号都无法单独可靠地判断驾驶员的疲劳状态。未来的研究方向可以从以下三个角度考虑:1)对疲劳特征进一步挖掘,用先进的信号处理方法提取每种输入信号中最能表征疲劳的特征参数;2)采用信号融合的办法,结合多个疲劳特征参数进行检测,克服光照、遮挡、天气、路标等的影响,提高检测的实时性、准确度和鲁棒性,降低误报率;3)检测方法应该具有自适应在线学习功能,能根据每个驾驶员的个性化数据进行自训练优化,克服个体差异,得到最适合每个驾驶员的个性化检测模型。

参考文献

[1] Mott G E, Forsman P, Short K R, et al. Efficient driver drowsiness detection at moderate levels of drowsiness.[J]. Accident Analysis and Prevention, 2013, 50(1): 341-350.

[2] Li Z J, Li S B, Li R J, et al. Online detection of driver fatigue using steering wheel angles for real driving conditions[J]. Sensors, 2017, 17(3): 495-507.

[3] 钟铭恩,黄杰鸿,乔允浩,等.生理疲劳和心理疲劳对车辆驾驶的影响对比[J].中国安全生产科学技术, 2017, 13(1): 22-27.

[4]柳龙飞.基于人脸分析的驾驶疲劳检测方法研究[D].武汉科技大学,2019.

[5]Yeo M V M, Li X, Shen K, et al. Can SVM be used for automatic EEG detection of drowsiness during car driving [J]. Safety Science, 2009, 47 (1): 115 124.

[6]肖赛,雷叶维.驾驶疲劳致因及监测研究进展[J].交通科技与经济, 2017(4):14-19.

[7]Chuang C H, Huang C S, Ko L W, et al. An EEG-based perceptual function integration network for application to drowsy driving[J]. Knowledge-Based Systems, 2015, 80(C): 143-152.

[8] Han W, Yang Y, Huang G B, et al. Driver drowsiness detection based on novel eye openness recognition method and unsupervised feature learning[C]. IEEE International Conference on Systems, Man, and Cybernetics, Kowloon, 2015: 1470-1475.

[9]牛清宁,周志强,金立生等.基于眼动特征的疲劳驾驶检测方法[J]. 哈尔滨工程大学学报,2015(03):394-398.

[10]屈肖蕾.基于转向操作和车辆状态的疲劳驾驶检测方法研究[D].北京:清华大学,2012.

[11]毛喆.机动车疲劳驾驶行为识别方法研究[D]:武汉理工大学,2009.