基于行车视频的交通标志识别技术研究 计算机科学和技术专业.docx

《基于行车视频的交通标志识别技术研究 计算机科学和技术专业.docx》由会员分享，可在线阅读，更多相关《基于行车视频的交通标志识别技术研究 计算机科学和技术专业.docx（30页珍藏版）》请在第一文库网上搜索。

1、1绪论1.1 研究背景与意义1 .1.1研究背景在现代社会，随着汽车工业技术和经济的飞速发展，世界上汽车的数量也在迅速增加。汽车的普及给人们带来了舒适，但也造成了大量的交通事故的出现,每年度超过125万人会因交通事故而死亡。其中以个人原因造成的事故又占到了总事故中的70机在先进的智能车辆技术中，道路视觉检测是一个重要的组成部分。而在近年来各种类型的传感器被广泛用于车道线检测技术，主要包括激光雷达、雷达、全球定位系统设备（GPS）、单、多目摄像机等。与此同时，随着深度学习这一概念的提及，在对车道线检测方面也有了更加深层次的应用。通过行车视频的图像来完成交通标线的识别，不仅在传统基于特征的方法上有

2、了更高的准确性还能够为以后无人驾驶的智能交通行驶奠定一个坚固的基础，同时还能提高行车视频的利用效率，极大程度上提高智慧城市产业的发展，为日后解决随意变道问题提出一种新的解决方案。2 .1.2研究意义因人为原因发生的道路交通事故，其中约有半数是因为车辆脱轨而造成。调查显示，有23%的驾驶者一个月内至少在方向盘上睡着一次，66席的卡车司机曾在驾驶过程中打瞌睡，这无疑大大增加了交通事故发生的可能性。在交通部发布的营运客车安全技术条件中，明确规定了车长超过9m的运营客车必须要符合营运车辆的危险预警技术要求，安装JT/T8831DWS,从而避免车辆会在车道上产生偏航的现象，同时，客车还必须安装AEBS来

3、保证车辆的紧急制动。不难看出，完善的车道线检测技术系统能够有效的减少司机因为自身因素引起的偏离车道行驶，进而也大大降低了事故的发生几率。目前，无人驾驶车辆技术还属于半成熟阶段，而车道线检测的准确性也和日后无人驾驶车辆行驶的安全性息息相关。我们可以将无人驾驶的车辆看作是一台包含了感知、规划、决策和控制的多感知传感器的模拟人脑行为的移动机器设备。而在上述技术当中，对环境的感知技术则是所有技术的基础。只有当面对各种负责的道路状况，环境信息都能提供较高的准确性和鲁棒性，才能确保其他部分的技术安全准确的执行，从而保证车辆的行驶安全。这将融合各种传感器获得的信息，以获得完整的道路信息。驾驶员面临的主要问题

4、是车辆周围障碍物的有效识别、交通标志的识别和道路路线的识别。因为车道线检测涉及的内容颇多，本文主要通过行车视频获得的影像，针对基于卷积神经网络（CNN）的深度学习算法研究来识别交通标线中的虚实线。而对于交通标线的检测，目前比较主流的方法还是基于视觉的检测方法。通过视觉传感器结合图像处理的方法，将原本的于实际偏差较大的图像转换成鸟瞰图。因为本文主要讨论的是虚实线的识别，所以即使在图像处理过程中失去了颜色特征，但是图形特征十分明显，容易区分虚线和实线。不仅于此，将由远到近的车载摄像头画面转化成与实际相符的平行且宽度相等的鸟瞰图，再去除冗余的干扰信息后也十分方便且受周围环境等因素影响较小，进而能够有

5、效的完成识别。单目视觉传感器是目前应用最广泛的传感器，具有成本低、信息量大等特点。而交通标线具有标准颜色、宽度和形状等视觉特性。然而，现有的算法系统并不是很稳定，准确度在恶劣天气条件和复杂条件下的时候还达不到需要的检测标准。但是相较于单目视觉，立体视觉的成像基准线也很难得到，激光雷达的造价成本高昂且不适合批量使用在汽车设备上，GPS&GIS信号不稳定，容易受到环境遮挡屏蔽和电磁干扰的影响。因此不难看出，基于视觉的车道线检测对于道路交通安全具有重要的意义，也为实例中由后车检测前车是否违法变道奠定基础。1.2 国内外研究现状道路交通标线，是一种在道路上进行安装、规划的标志,标线内容包含线条、文字、

6、图案、箭头以及实体路标、立面标记、轮廓灯众多交通设施，其主要目的是为了给道路行驶的驾驶员传递信息，从而做到指引、警告的作用。车道线是划分同方向交通流的边界线，主要有虚线、实线、黄虚线、黄实线、双虚线、双实线、双白实线、双黄线等表示不同的含义，并且交通标线检测技术就是使用图像处理方法来检测目标图像的位置，进而完成识别。随着车道线检测研究的逐步深入，在检测的准确性和鲁棒性上都有了显著的提高，检测速度相较于之前也明显加快，但是于人工识别相比，机器识别还是存在着明显的不足，在实际应用中仍然由有许多技术难题还急需要解决。主要因为车辆行进过程中，不同的场景所获得的图像也呈现很多的变化，例如在高速公路中，车

7、道标志明显，道路保持良好，进而获取到图像信息的可遇见性和有序性更强。但是在一些城市道路中，由于道路的弯曲，行人等障碍物的走动道路周边的一些绿植建筑的投影等，这都会给车道线检测带来困难。而且车道线检测现在面临的主要问题就是图像逆光严重,不同的路面材料获取的图片质量不同和不同的坡度等。目前可以将国内外文献中提到的方法归纳为通过特征描述的、基于模型本身的和通过深度学习的三种方法，如下分别对该三种方法进行细致的描述。（1）基于特征的方法BOrkarA等人在文中通过逆透视变换将原图进行处理，然后采用霍夫变换检测车道线后只进行特征的分段提取。在研究中利用的算法乃是随机抽样一致算法，通过对RANSAC算法的

8、拟合，以及对卡尔曼滤波器的跟踪提取了车道线的特点和状态，并对车道线中的虚线问题进行了时域模糊处理，使该虚线通过均值图像的方法展示出长直线特征，为后续的探究和检测提供支持。部瑞芹对于各种天气的弯道检测状态进行了研究，研究中采用的方法主要是支持向量机法、塔式梯度直方图特征方法及AdaBOoSt算法三种，并通过对上述算法的测试进行了算法之间的对比，研究结果发现，支持向量机算法具备更好的检测效果。同时，还利用暗原色先验方法对弯道之中的雾天进行了探索，很好的去除了雾天的影响，有效的提高了检测率。CaiH等人建立了颜色模型来对车道线的颜色进行高斯统计，通过对已修正的霍夫变换检测车道线进行统计和调查，使得车

9、道线颜色能感兴趣区内能被简易的提取出来。同时，他还建立了单通道图像坐标系，并将其在世界坐标系之内进行了对立，便于更好的对车辆位置、车辆与车道线距离、偏航角等进行计算，使得车辆的自主定位在安全驾驶辅助方面提供更加重要的作用。（2）基于模型的方法WangJ等人对于车道检测、跟踪的方式和方法进行了详细的分析和探究。研究中通过Sobe1算子对已然消除了候选车道线个体边界的车道线边缘区域进行了提取，并基于动态规划方式，选择了道路最优化路径。之后处理边缘图像的时候，又通过霍夫变换处理了车道线边界。通过具体的实验研究可知，对于高速公路来说，该方法能提供有效的作用，但是该方法明显不适合那种曲线车道环境,在检测

10、过程中为了获得感兴趣的道路边界区域利用了视频相邻帧数之间基于车道线边界的先验信息。Wang8等人在定位了车道线初试区域后，把车道线检测的问题转换成在初试确定区域内确定曲线模型问题。许9运用运用三次均匀非周期B样条曲线拟合整条车道线，采用了Canny算法和多区域阈值分割算法来提取车道线。王10在利用边缘分布函数获得车道线倾角之后，采用单方向搜索算法和方向可变Haar特征提取特征点，最后利用双曲线模型拟合车道线。JUngCR等人11基于边缘分布函数，通过霍夫变换检测车道线位置和方向，对近视场区域和远视场区域分别采用直线模型和曲线模型来获取准确的车道线信息。（3）基于深度学习的方法KimJ12等人在

11、文中介绍了一种利用CNN和RANSAC相结合来检测车道线的方法。最初利用高斯平滑函数来处理图像，函数是5X5格式的，其后通过RANSAC和CNN方法的有机融合，检测了车道线。该算法对车道线的检测对于解决复杂路况问题拥有重要的辅助作用。根据实验发现，这种方法检测效果相对准确，是超过霍夫变换和单独的RANSAC检测算法的一种新模式。1iJ等人13在文中提及现在大多数现有的网络都没有考虑任何的空间结构，而是直接将低、中等级的特征直接结合起来用于图像分类。因此提出了空间结构图像分类法，从而对其进行了神经网络深度研究。通过对深度卷积网络的建立，使得能对感兴趣区的目标及其位置方向进行同时检测，并根据神经网

12、络的辅助信息带来车道线后续结构建模，从而从循环神经网络基础上实现对不清晰的目标空间特征的处理，从而自动监测车道线边界。1.3 研究内容与技术路线本文主要的研究内容是通过自己搭建的一个典型卷积神经网络模型来检测交通标线中的虚实线，为实例当中实线违法变道系统解决交通标线识别这一要害本文是通过对卷积神经网络的搭建，从而根据已经标定好的数据集来学习交通标线的特征，主要是采用了两种语义分割，利用灰度图峰值的连续来判断虚实线，并将其应用在视频检测上。实例中介绍了一个实线违法变道系统，这个系统的搭建有利于实现后方车辆对前方车辆的实时监督，能够有效的减少交通监管当中的视觉盲区，在提高道路安全的同时也起到了监督

13、的作用。2行车视频数据预处理现在大多数车载摄像头都是使用的单目摄像头，这也是目前使用最广泛的传感器。然而，单目摄像头也存在明显问题，就是视角与距离之间存在着不能缓和的矛盾。换句话说，相机的视角越高，精确距离就越短。视场越窄，探测距离越长。这就好比于人们肉眼观察世界，看的距离越远的时候，覆盖的范围就越近,反之，看的距离近的时候，覆盖的范围就会广阔一些。所以就会导致原本平行并且等宽的车道虚实线在获取的图像当中变成相交的，而且车载摄像头是定焦的，这就给后期虚实线的检测带来了很大的困难。不仅如此，车载摄像头采集到的图像，其中车道线仅仅占图中下方的一部分。对于检测而言，图像中包含了包括天空、建筑、汽车、

14、行人无用信息，而且这些不同环境下的干扰信息可能会对检测结果的准确性造成影响，还会降低模型在其他场景下的鲁棒性。因此需要对图像进行预处理，通过对采集的图像进行裁剪，从而获得感兴趣的区域，再通过逆透视变换将车道线转变成平行等宽的鸟瞰图，这大大有利于后期的检测。2.1 感兴趣区域(RO1)提取一般提取感兴趣区域从而处理图像是从两个层面上实现的，其一，是通过图像分割技术来对感兴趣区域提取，其二，是从个人的角度出发，从人的视觉特征上来对其进行模仿，从而寻找视觉敏感区并将其转化为感兴趣区域。图像中感兴趣区域的提取一般从两个方面来解决。首先可以利用图像分割技术提取感兴趣区域。其次，是从人的视觉特征角度出发，

15、模拟人的视觉特征，寻找视觉敏感区域，并将其划分为关注区域。这里主要介绍自动图像分割技术提取ROI,主要是通过将视频转化成一帧一帧的图像来进行灰度，再获取灰度图像后转化成二值图像，最终根据先验信息定义道路图像的感兴趣区域可以降低天空背景等干扰信息对车道线检测准确性的影响。灰度处理的前提是灰度图像出现，指的是对其处理的过程。简单来说，彩色图像主要包括红绿蓝三部分，在彩色图像中，越明亮的地方具备越大的灰度值,举例来说，白色的灰度值就很大，其像素值也能达到255的数值；像素值越低,其像素点就显得更加黯淡，颜色偏向暗色，黑色就是像素值最低的一种颜色，他的像素值是0。目前想要通过灰度处理来整理图像包含一系

16、列的方法，使用最多的有平均值及加权平均值法、最大值法与分量法等等。本文是基于加权平均值来进行实现的，通过Mat1ab里面自带的rgb2GRAY函数来实现对图片的灰度化处理。每一分量的权重由其重要性等其他数值指标确定，然后加权平均。考虑到人眼对绿的敏感度高，对蓝的敏感度低，为了获得更好的灰度图像，使用公式(2-1)对RGB的三个分量进行加权。具体Mat1ab实现如图2.1,其中加权平均法的表达式为：Gray(IJ)=0.299*RIiJ)+0.578*I(iJ)+0.114IB(iJ)(2-1)图2.1灰度化处理效果图2.1.2图像二值化在图像二值化处理中，就是将灰度值作为设置对象，从而将图像中的点设为0或者255的数值大小，从而使得凸显展示出更清楚的明暗光影、黑白效果。在二值化处理之后，可以通过选择适当阈值分别了解到整体性和局部性的二值化图像。本文中求解256亮度灰度图像的的方法主要采用的是最大类