智能辅助驾驶系统中的行人检测方法

时间:2018-12-14

来源:中国无人驾驶网

0

导语:本文提出一种改进的基于车载摄像机角度估计的方法,根据行人的尺寸大小减少待检测窗口大量。采用类Haar特征以及Real AdaBoost作为机器学习方法的分类器设计方案。

1 概述

智能辅助驾驶系统致力于改善交通安全,计算机视觉起到极其重要的作用,它可以检测到感兴趣的交通物体,如车辆和行人。该系统需要在户外场景下的移动平台上进行实时处理,目前仍是计算机视觉研究领域中的前沿技术。由于行人外观的多样性,如不同的姿势、衣服、距离、角度以及城市环境的复杂性,因此行人检测要想取得理想的效果存在较大的困难。

大多数关于二维图像中行人检测的方法都是基于特征选择和机器学习的。下面是一种简单的将分类器用在二维图像中的方法:在图像中确定一条水平的地平线,在直线以下部分的像素都属于路面,然后根据行人的尺寸大小在路面上所有可能存在行人的区域进行检测。但这种方法有一个前提,即摄像机的姿势是固定的,摄像机与路面之间的夹角是不变的,也就是说,上述过程中在图像中所确定的地平线是固定的,在每一帧图像中都是同一个位置。显然,由于车辆的运动和路平面的不规则性,这样的假设与事实相距甚远,特别是在城镇交通环境中。因此为了减少摄像机角度变化所带来的影响,在上述方法中需要增加大量可能存在行人的待检测窗口。另外,行人本身的类内变化性比较大,分类器需要用到几千个特征。以上原因使得计算的时间开销非常大。本文参考文献[1]中关于智能辅助驾驶系统中行人检测的理论,提出一种改进的基于车载摄像机角度估计的方法,根据行人的尺寸大小减少待检测窗口大量。采用类Haar特征以及Real AdaBoost作为机器学习方法的分类器设计方案。

2 摄像机角度估计与区域提取

本节的主要目的是通过拟合路平面,对摄像机的角度进行估计,最后定义一系列的ROI区域,即待检测窗口如图1所示。基于立体视觉的解决方案将问题固定在摄像机的高度以及角度的变化上,高度和角度都是相对于路平面而言的。摄像机在yaw角度和roll角度的变化可以忽略[2]。本文方法与文献[1]中的方法虽然相似,但是计算时间却大为减少。

智能辅助驾驶系统中的行人检测方法

2.1 3D数据投影及数据块的选择

智能辅助驾驶系统中的行人检测方法

智能辅助驾驶系统中的行人检测方法

智能辅助驾驶系统中的行人检测方法
 

2.2路平面方程的拟合

智能辅助驾驶系统中的行人检测方法

接下来将属于路面的重心点投影到YZ平面,然后对YZ平面上的这些点用最小二乘法进行直线拟合。为了加快计算速度,下面采用10 cm误差的范围判断重心点是否属于路面,如果重心点不属于路面,则不参与下面的计算。该过程如下:

智能辅助驾驶系统中的行人检测方法

最终,通过这个直线方程,正确估计出摄像机相对于路面的角度及高度。由最小二乘法线形拟合理论可知,这比文献[3]中将所有重心点用来拟合路平面方程的方法在计算时间上大为减少。然后,在X方向上和z方向上每隔0.5m放置一个ROI区域,其大小为(0.75x1.5)m~(0.95×0.9)m。这些窗口共有2 000个左右,然后通过分析判断这些待检测区域的空间中包含的点数据是否大于阈值a,a为随深度变化而线形变化的值。本文实验中,图像大小为640x480像素,定义a=100x(50-x),x为目标区域距离摄像机的垂直距离。实验中最远可以检测到距离摄像机50 m的目标。该过程可以将待检测区域进一步减少到200个-300个。然后将其投影到2D图像中,这些待检测窗口在接下来的步骤中用于对其是否是行人进行判别分类,见图3。由于引入了上述判断过程,在接下来的分类过程中计算时间将减少为原来的10%-15%。

智能辅助驾驶系统中的行人检测方法

3 行人分类

得到在地面上的一系列ROIs后,将对其进行判别分类,以判断其是否为行人。本文采用类Haar特征和RealAdaBoost学习方法。

3.1类Haar特征

类Haar特征是一种简单矩形特征,因类似于Haar小波而得名[4]。矩形特征的值是指图像上2个或多个形状大小相同的矩形内部所有像素灰度值之和的差值。黑色矩形和白色矩形在图像子窗口中对应区域的灰度级总和之差,它反映了图像局部的灰度变化。文献[5]在类Haar特征原型的基础上,通过旋转变换增加了类Haar特征的数量。

类Haar特征分为3类:边缘特征,线性特征,环形特征,组合成特征模板,见图4。在确定特征形式后类Haar特征的数量取决于训练样本图像的大小,特征模板在子窗口内随着尺度的不同任意放置,一种形态称为一种特征,找出所有子窗口的特征是进行弱分类器训练的基础。

智能辅助驾驶系统中的行人检测方法

3.2 Real AdaBoost机器学习方法

AdaBoost算法是利用大量的分类能力一般的弱分类器通过一定方法叠加起来,构成一个分类能力很强的强分类器。如果一个学习算法通过一组样本的学习后,能够达到理想的识别率,则称它为强分类器;如果一个学习算法的识别率仅好于随机的猜测,则称其为弱分类器[6]。通常,针对一个具体的识别问题,很难找到一个理想的强分类器,但是弱分类器一般都会很多。一种简单的Boosting算法[7]是采用多数表决法(Boost—by-majority)将多个弱分类器组合起来,这种算法将所有的弱分类器都同等看待,但是效果并不好。文献[8]提出了一种通过权值调整而运作的AdaBoost算法,解决了以前Boosting算法中存在的问题,对于AdaBoost算法,每次只要加入一个识别率略好于随机猜测的弱分类器,就能提升所得强分类器的识别率。

4 实验结果与分析

本节将从视频序列中抽取一些结果来说明改进后的摄像机角度估计算法的效果。算法实现及测试中使用的计算机平台CPU主频为2.33 GHz,内存大小为3.25 GB,在Visual C++6.0环境下编程实现。图5所示是路面点的算法选择过程中被标志为属于路面上的像素点。图6是根据直线拟合后得到的路平面方程拟定的2 000个侯选窗口。图7中根据空间信息进行分析之后,排除大量不可能存在行人的区域,将窗121数量减少到200个左右,从图中可以看出,分析结果准确。这大量减少了分类器进行分类的工作量,检测速度得到了极大提高。

智能辅助驾驶系统中的行人检测方法
智能辅助驾驶系统中的行人检测方法

图8~图15给出了一些最后的行人检测结果。表1给出了改进后的方法与文献[3]中所述自适应路面拟合的方法在对每一帧图像检测行人目标过程所需计算时间的比较,可以看出。本文方法在检测速度上获得了极大提高。

智能辅助驾驶系统中的行人检测方法
智能辅助驾驶系统中的行人检测方法
智能辅助驾驶系统中的行人检测方法


智能辅助驾驶系统中的行人检测方法
智能辅助驾驶系统中的行人检测方法
智能辅助驾驶系统中的行人检测方法

5 结束语

本文提出车载行人检测中2个非常重要的改进:

(1)通过直线拟合确定路平面的方程;(2)通过分析候选区域的空间信息使待检测窗口大量减少,从而提高检测速度。基于摄像机角度估计的自适应图像采集方案同样适用于智能辅助驾驶系统的其他应用,如交通车辆检测、路平面分割,从而可以实现对其他目标的快速检测分类。车载行人检测还有很多方面需要提高和改进,如其他的特征表达方式及检测方法。在以后的工作中将研究更有效和更有针对性的特征表达方式。

参考文献

【1】Sappa A,Geronimo D,Dornaika F.On—board Camera Extrinsic Parameter Estimation[J].Electronics Letters,2006,42(1 3):745-747.

【2】Labayrade R,Aubea D.A Single framework for Vehicle Roll,Pitch,Yaw Estiestimation and Obstacles Detection by Stereovision[C]//Proc.ofthe IEEE Intelligent Vehicles Symposium Columbus,USA:Is.n.】,2003:31-36.

【3】Geronimo D,Sappa A,Lopez A,et a1.Adaptive Image Sampling and Windows Classification for On.board Pedestrian Detection[C]//Proc.of the I 5th Int’I Cone on Computer Vision Systems.Riode Janeiro,Brazil:【s.n.】,2007.

【4】Viola P,Jones M.Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.【S.I.】: IEEE Press,2001:511-518.

【5】Lienhart R,Maydt J.An Extcnded Set of Haarlike Features for Rapid Object Detection[C]//Proc.Of ICIP’02.【S.1.】:IEEE Press,2002:900.903.

【6】Valiant L G A Theory of the Learnable[J].Communication of the ACM 1984.27(1I):1134-1142.

【7】Schapire R E.The Strength of Weak Learnability[J].Machine Learning,1990,5(2):197-227.

【8】Freund Y.Schapire R E.A Decision-theoretic Generalization of On-line Learning and an Application to Boosting[J].Journal of Computer and System Sciences,1 997.55(I):11 9-139.

低速无人驾驶产业综合服务平台版权与免责声明:

凡本网注明[来源:低速无人驾驶产业综合服务平台]的所有文字、图片、音视和视频文件,版权均为低速无人驾驶产业综合服务平台独家所有。如需转载请与0755-85260609联系。任何媒体、网站或个人转载使用时须注明来源“低速无人驾驶产业综合服务平台”,违反者本网将追究其法律责任。

本网转载并注明其他来源的稿件,均来自互联网或业内投稿人士,版权属于原版权人。转载请保留稿件来源及作者,禁止擅自篡改,违者自负版权法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

关注低速无人驾驶产业联盟公众号获取更多资讯

最新新闻