随着现代检测技术的发展，用高科技手段取代传统方式已经成为各行各业的发展趋势，在交通智能化管理方面同样如此，在各大城市的交通管理中大量使用“电子眼”，车辆检测器等检测设备，为城市交通的智能化和有秩化管理做出了极大贡献。
视觉图像为基础的检测系统（Video Image Detector）以其信息量大，讯息直观丰富等优势成为交通应用的主流。上世纪七八十年代由于离散数学的创立和完善，使数字图像处理技术得到了迅速的发展，随着计算机的普及，应用成本的降低，图像处理在各行各业得到了广泛应用，到了八十年代中期，交通图像侦测系统开始在发达国家得到运用并发展起来。
大家常说“无图无真相”，就一语道出了图像所包含的丰富信息量。我们可以根据自己的需要对这些信息进行相应的处理，便能得到所需的结果。这里所说的处理都是采用数字化处理，这样才能被计算机运算和存储。
一、图像处理的原理
虽说图像处理的范围非常广泛，但它的基本原理和方法是一样的。主要包括图像的模数转化（A/D Image Transform）、图像的增强与复原（Image Enhancement and Restoration）、图像编码与压缩（Image Encoding and Compression）、图像切割（Image Segmentation）、图像的表示和描述（Image Representation and Description）、图像特征匹配（Image Feature Matching）等等内容。由于专业性较强，在这里就不一一讲述了，只就图像特征匹配举例说明一下，比如人体的外表特征，可在身高、体重、胸围等方面表现出来，将许多人的这些体貌特征归纳起来，进行归类管理，标识界定，就可以将庞大的人体数据简化，同样可以用这种方法来区分不同的车辆，如图像中的物体长度4公尺，宽2公尺，外形特征为矩形时，可将该物体归类为小汽车；如长度为10公尺，宽2.5公尺的矩形，则可归类为大巴或大货。图像处理技术在交通上的应用主要在车辆检测、车种识别和车辆跟踪三个方面。
1、车辆检测
车辆检测的技术方法可分为样本点检测、检测线检测、全画面式检测和夜间车辆检测：
（1）、样本点检测
在车道的某一部分选取类似矩阵的样本点，当车辆通过时，样本点之灰阶值与原路面不同，若两者相减的统计值超过某一门槛值，即表示车辆的存在。
（2）、检测线检测
此法是于垂直或平行车流方向布设由象素组成之虚拟检测线，一般由亮点来组成，以方便区隔路面与检测线的象素深度。当车辆通过检测线时，线上的灰阶值与没有车辆通过路面时有差异，若灰阶值的差异大于某门槛值，则表示有车辆通过。由于样本点或检测线检测法仅撷取部分象素资料进行处理，处理的资料量明显减少，因此运算时间缩短很多。为了达到实时（Real-Time）检测的要求，目前已实际运用于交通检测的图像处理系统AUTOSCOPE便是以检测线做处理。
在车辆运行单纯的路段，以样本点或检测线作为车辆检测的途径可获得不错的结果，但在复杂的路口内，如何布设样本点或检测线将是首先遭遇的困难，由于路口内车辆除直行外，尚有转向行为，任何位置均可能有车辆出现。
（3）、全画面式检测
以全画面作处理的车辆检测方法所能获得的信息较多，但相对地要处理的资料量也明显增加很多。属于此法的检测方式有背景相减法与二值化法两种：背景相减法系取一张无车辆存在的图像作为背景，当含有车辆的图像与背景图像逐点相减后，车辆的部分即被减出，如TRIP系统。二值化法将图像以某一门槛值进行切割，象素深度高于该值的成为255（白），低于该值者则变成0（黑），如此可将物体与背景分离。
背景相减法与二值化法均存在很多缺点，前者如背景需要经常更新，后者则过程繁复，而二者共同的缺点便是当物体颜色与背景相近时将面临切割失败的命运，此外，门槛值确立不易，故有多值切割方法的提出，但过程益显复杂。
（4）、夜间车辆检测
国外一些学者认为由于夜间图像所具有的信息与白天图像不同，因此在算法的使用上与检测流程上会有相当程度的不同。一般而言在夜间与较暗的照明度之下，唯一醒目的视觉特征为车头灯与其光柱、街灯以及高度反射光线的型态（如斑马线）。他们以为夜间图像并不适用移动检测算法。
国内学者认为，在城市交通流量视频检测系统中夜间车辆检测一直是个难题。传统的方法都是基于形态学算子,通过检测车头灯来检测车辆，这种方法运算量较大，而且受环境光线影响比较大，为此他们提出了一种基于颜色和运动信息的夜间车辆检测方法。该方法首先利用颜色信息在图像中检测出车辆尾灯，并对车辆尾灯进行连续的跟踪，然后利用运动信息和先验知识对车辆尾灯进行匹配，最后统计出交通流量。实验结果表明，该算法可以准确地检测出夜间正常行驶的车辆，并且能够适应雨天等复杂天气条件。
2、车种识别
（1）、车辆识别
由于国内与国外交通组成的不同，国外的研究仅对大车与小车作辨认，而国内则较复杂，但一般研究均简化车种为大车、小车与机车，以此三类做识别。
以检测线或样本点作为识别车种的途径时，由于所取资料量少，较不利于车种识别，故以此法进行者较少。就日间图像的车辆识别来说通常以车辆的特征如：外型、尺寸为分类准则。
近年发展迅速、应用到很多领域的“类神经网络（Neural Network）”也被应用到车种的识别上。此外，亦可藉由车辆牌照途径，将号码图像二值化，以特征匹配的方式识别并记录该车牌号码，透过数据库的比对，每个号码可对应于某一车种，可用于抓拍违章车辆、车辆计数、车种识别、起迄点调查与旅行时间分析等。
（2）、车牌识别
车牌识别的技术近年来在国内已经日趋成熟。有些学者以为车牌识别可分三阶段：前处理，将图像二值化后进行清除噪声。而后车牌定位，利用连接组件标示法，找出图像中之连接组件加以分析，进而判定车牌位置。字符识别，分割字符完毕后依文字大小设定结构组件之大小，最后利用型态学的方法找出文字特征加以比对。
还有人采用其它方法，如搜寻车牌后以图素分割法切割字符住后利用类神经网络识别字符；或者利用灰阶转换数之计算找出可能之车牌位置，再分割字符，在利用笔划分析法识别字符；或者利用图像中灰阶值之变化特性寻找车牌位置，在利用垂直投影直方图分割字符，以灰阶值关连度进行识别。
3、车辆跟踪
连续图像中，车辆轨迹的记录即称为跟踪。Anthony P.Ciervo最先提出以检测车辆并配合猜测车辆位置的方式，连续跟踪车辆的轨迹。其中以样本点或检测线方式做跟踪者，由于选取的象素仅局限于某固定范围，处于被动状态，较不利跟踪之进行。N.Hoose便是以各邻近方向均为双向二车道的 T 字型路口为例，在进进路口前及离开路口后之车道上布设横向检测线屏蔽（Mask），以记录车辆进进与离开之邻近方向编号，同时对车辆在图像上的外形、大小与位置等资料作记录，以跟踪车辆，但误差颇大。总结而言，车辆跟踪的方法有下列四种：模式基础跟踪（Model based tracking）、区域基础跟踪（Region based tracking）、轮廓基础跟踪（Active contour based tracking）、
国外研究文献中仅针对各车道的单一车辆进行跟踪，要了解路口内车辆运作之机制，非得在同时间针对路口内所有方向的车辆做跟踪处理不可，否则取得的仅为残破的信息，对整体的助益有限。国内近年来增加了在城市路口和街头的探头，车辆跟踪上取得了长足的进展。