��车辆检测与交通信号灯识别技术研究

****大学博士学位论文
目录
目录.............................................................................................................................................................1
1 绪论.........................................................................................................................................................4
1.1 智能车辆研究概述......................................................................................................................4
1.1.1 智能车辆研究背景及意义 ...............................................................................................4
1.1.2 智能车辆研究进展和现状 ...............................................................................................5
1.2 智能车辆环境感知相关技术研究 ..............................................................................................9
1.2.1 路面车辆检测方法的研究现状 .......................................................................................9
1.2.2 交通信号灯识别方法的研究现状 .................................................................................12
1.3 课题研究背景与论文内容结构................................................................................................15
1.3.1 课题研究背景.................................................................................................................15
1.3.2 论文内容结构.................................................................................................................15
2 车载激光雷达与机器视觉的标定与数据融合 ...................................................................................17
2.1 激光雷达环境感知技术............................................................................................................17
2.1.1 激光雷达距离测量技术.................................................................................................17
2.1.2 激光雷达安装外参数标定 .............................................................................................18
2.2 基于激光雷达与机器视觉的车载摄像机标定方法 ................................................................20
2.2.1 车载环境感知系统坐标模型建立 .................................................................................21
2.2.2 摄像机模型建立.............................................................................................................23
2.2.3 车载摄像机外参数标定.................................................................................................26
2.3 激光雷达与机器视觉数据融合................................................................................................27
2.3.1 空间上数据融合.............................................................................................................27
2.3.2 时间上数据融合.............................................................................................................27
2.4 实验及结果分析........................................................................................................................28
2.4.1 激光雷达外部参数标定实验 .........................................................................................28
2.4.2 摄像机内部参数标定实验 .............................................................................................30
2.4.3 摄像机外部参数标定实验 .............................................................................................31
2.4.4 基于激光雷达与机器视觉的数据融合实验 .................................................................35
2.5 本章小结....................................................................................................................................38
3 基于激光雷达与机器视觉的前方车辆检测 .......................................................................................39
3.1 前方车辆检测跟踪系统结构....................................................................................................39
3.2 基于聚类算法的激光雷达数据处理 ........................................................................................41
3.2.1 聚类分析概念及主要方法 .............................................................................................41
3.2.2 激光雷达数据特点分析.................................................................................................42
3.2.3 相关聚类算法.................................................................................................................43
3.2.4 改进 DBSCAN 算法在激光雷达数据处理中的应用 ...................................................48
3.2.5 聚类数据形状特征匹配.................................................................................................50
3.3 基于激光雷达和机器视觉的前方车辆检测 ............................................................................51
3.3.1 Haar-like 特征..................................................................................................................51
3.3.2 AdaBoost 算法 .................................................................................................................54
1
3.3.3 级联分类器.....................................................................................................................56
3.3.4 基于 AdaBoost 算法的前方车辆检测 ...........................................................................57
3.4 基于卡尔曼滤波的运动车辆跟踪 ............................................................................................60
3.4.1 前方运动车辆信息提取.................................................................................................60
3.4.2 卡尔曼滤波算法.............................................................................................................61
3.4.3 基于卡尔曼滤波的车辆跟踪 .........................................................................................64
3.5 实验及结果分析........................................................................................................................65
3.5.1 激光雷达数据聚类实验.................................................................................................65
3.5.2 前方车辆检测与跟踪实验 .............................................................................................67
3.6 本章小结....................................................................................................................................70
4 基于彩色机器视觉的交通信号灯识别与跟踪 ...................................................................................71
4.1 交通信号灯标准与关键问题....................................................................................................71
4.2 交通信号灯识别跟踪系统结构................................................................................................74
4.3 基于彩色视觉的交通信号灯检测与识别 ................................................................................75
4.3.1 彩色空间模型.................................................................................................................75
4.3.2 基于彩色分割的目标候选区域提取 .............................................................................78
4.3.3 形态学处理.....................................................................................................................82
4.3.4 区域标记.........................................................................................................................84
4.3.5 基于统计学习与先验知识的交通信号灯检测与识别 .................................................85
4.4 交通信号灯跟踪........................................................................................................................88
4.4.1 波门跟踪算法.................................................................................................................88
4.4.2 Mean Shift 算法...............................................................................................................90
4.4.3 基于 CAMSHIFT 算法的交通信号灯跟踪...................................................................92
4.5 实验及结果分析........................................................................................................................94
4.5.1 交通信号灯样本库的建立 .............................................................................................95
4.5.2 交通信号灯检测与识别实验 .........................................................................................96
4.5.3 交通信号灯跟踪实验.....................................................................................................97
4.5.4 综合实验.........................................................................................................................99
4.6 本章小结..................................................................................................................................101
5 基于 CAN 总线通信网络的智能车辆控制系统...............................................................................103
5.1 车载 CAN 总线通信网络 .......................................................................................................103
5.1.1 车载网络系统概述.......................................................................................................103
5.1.2 SAE J1939 协议.............................................................................................................104
5.2 智能车辆系统结构..................................................................................................................106
5.2.1 环境感知模块...............................................................................................................106
5.2.2 规划决策模块...............................................................................................................107
5.2.3 车辆底层控制模块.......................................................................................................108
5.3 CAN 总线在智能车辆控制中的应用 .....................................................................................109
5.3.1 智能车辆中的 CAN 总线结构..................................................................................... 110
5.3.2 智能车辆中的 CAN 总线通信协议............................................................................. 111
5.3.3 基于 CAN 总线的智能车辆软硬件设计..................................................................... 115
5.4 实验.......................................................................................................................................... 117
5.5 本章小结.................................................................................................................................. 119
2
6 结论与展望.........................................................................................................................................120
6.1 主要工作成果..........................................................................................................................120
6.2 创新点......................................................................................................................................121
6.3 展望..........................................................................................................................................122
参考文献.................................................................................................................................................123
攻读博士学位期间发表论文及科研工作.............................................................................................135
3
1 绪论
随着汽车工业的不断发展和公路交通网络的不断扩大，汽车给人类生活带来巨大
的贡献，但与此同时也带来了不可避免的交通事故、交通堵塞、环境污染、能源浪费
等诸多问题。目前，每年的交通事故给世界各国造成了巨大的经济损失，据美国联邦
公路管理总署于 2007 年初公布的统计数据，过去几年美国各地公路交通事故年均死
亡人数超过 4.2 万人[1]。而随着我国公路特别是高速公路的飞速扩展和汽车保有量迅
速增加，事故发生率也明显比过去增加[2]，公路交通事故已成为社会关注的一大公害。
这些交通事故的发生均不同程度地关系到驾驶员、车辆和道路环境因素，据科学
家研究分析表明，由于驾驶员因素而直接导致的道路交通事故约占 65%，与驾驶员因
素有关而导致的道路交通事故约占近 95%。从上述数据可以看出，驾驶员失误操纵是
发生交通的主要原因[3]。其中，可能会因为驾驶员注意力分散或者驾驶疲劳而造成交
通事故，该情况约占驾驶员因素相关事故的 90%[4]，也可能由于外界天气恶劣，使驾
驶员的视野和感官能力受到限制，甚至因为在突发情况下，驾驶员的反应能力不足以
避开交通事故的发生。因此利用先进技术手段代替驾驶员来增强车辆环境感知能力，
实现车辆的智能化，提高汽车安全性能，减少道路交通事故是各相关领域研究机构所
要面对的重要课题。
1.1 智能车辆研究概述
1.1.1 智能车辆研究背景及意义
为了解决交通问题，欧洲、美国、日本等发达国家都大力发展智能交通系统（ITS:
Intelligent Transportation System）[5]。而智能交通这个概念于 1991 年由美国智能交通
学会 ITS America（Intelligent Transportation Society of America），当时名为 IVHS
America（Intelligent Vehicle/Highway Society of America）提出，并在世界各国进行大
力推广[8][9]。另外，我国已于 2000 年完成中国 ITS 体系框架的起草工作，车辆安全与
辅助驾驶是其中重要子项[10]。从整个智能交通系统来看，智能交通 ITS 的基本思想是
将交通设施（包括道路、桥梁和隧道等）和行驶车辆综合起来考虑从而解决交通问题。
1992 年美国智能交通学会制定了《美国智能交通系统战略规划》，并将智能交通系统
划分为以下六个领域：高级交通管理系统（ATMS: Advanced Transportation Management
4
System）、先进出行信息系统（ATIS: Advanced Travel Information System）、先进车辆

控制与安全系统（AVCSS: Advanced Vehicle Control and Security System）、商用车辆操
作系统（CVO: Commercial Vehicle Operation）、高级公共交通系统（APTS: Advanced
Public Transportation System）和农区交通系统（RTS: Rural Transportation System）[11]。
智能车辆在军事、民用和科学研究等诸多领域中都得到重视和广泛的应用。在军
事方面，智能车辆可以代替人类在战场上按照人们的意图自动行驶至目的地，并代替
人类完成侦察、排雷等军事任务，可以搭建智能化作战平台；在民用方面，不仅可以
作为自动或辅助驾驶系统以减少交通事故，同时还可以帮助一些存在身体缺陷而不能
驾驶车辆的人完成驾驶任务，如残疾、色盲等人群，2002 年我国科技部正式启动了十
五科技攻关计划重大项目——智能交通系统关键技术开发和示范工程，其中一个重要
的内容就是车辆安全和辅助驾驶的研究；在科学研究方面，智能车辆可代替人在高危
环境或特殊环境甚至外太空和外星球中从事探索和勘探工作，如月球车、火星探测车
等，特别是月球的探测工作，我国政府于 2000 年 11 月发布的《中国航天》白皮书中
提到，在未来的十年里展开以月球探测为主的探空探测预先研究，月球探测车作为其
中的重要组成部分对人类探测、开发和利用月球起到巨大的推动作用。
智能车辆系统可以通过环境感知传感器辨识车辆所处环境的状态来掌握道路、周
围车辆、行人和交通信号等驾驶环境信息，根据这些信息进行分析、规划和决策，并
通过车辆底层控制系统实现车辆自动引导，有助于改善车辆行驶的安全性，提高车辆
智能化和减少交通堵塞等。智能车辆技术的研究有利于促进人类社会信息化、智能化，
其涉及广泛的研究领域，如人工智能、计算机视觉、模式识别、传感器技术、自动控
制、车辆动力学、定位与导航技术、人机环境等多个领域，智能车辆的研究必将推动
多个学科的理论和应用发展，为学科发展提供良好的平台。智能车辆具有巨大的市场
潜力，汽车工业作为国家的支柱产业之一，能够带动整个社会经济的发展，也能够促
进各个行业的发展。目前，虽然智能车辆并没达到实用化阶段，只是进行了一些前瞻
性探讨和基础性研究，但部分辅助驾驶系统开始纷纷投入市场应用。随着市场的推广
和智能化程度的提高，这些智能化系统将会是汽车工业中一个很重要的组成部分。智
能车辆技术的研究和发展将大大促进人类社会的进步，具有良好的研究前景和意义。
1.1.2 智能车辆研究进展和现状
到目前为止，智能车辆经历了多个发展阶段，从 20 世纪 50 年代初至 60 年代末
5
的智能车辆萌芽阶段，到 70 年代初至 80 年代末的智能车辆起步阶段，再到 90 年代

初至今的智能车辆发展和实用化推进阶段，智能车辆研究不断地随着各个领域和学科
的发展而发展。
20 世纪 50 年代初至 60 年代末，为智能车辆的萌芽阶段，这一阶段主要通过道路
铺设电缆或磁诱导设备实现车辆行驶车道自动保持，美国通用汽车公司、美国无线电
公司、俄亥俄州立大学、欧洲英国道路交通研究所、德国西门子公司、日本机械技术
研究所等都开展过相关研究[12]，由于道路需要预先铺设设备，使其应用存在一定的局
限性。
20 世纪 70 年代初至 80 年代末，为智能车辆的起步阶段，随着计算机技术的发展，
计算机视觉得到了一定的发展，因此这个阶段车辆自动驾驶研究的焦点为基于机器视
觉的汽车自主驾驶。1978 年日本机械技术研究所进行了世界上首次基于机器视觉的自
主汽车驾驶系统道路试验，实验速度达 30km/h。到了 80 年代前期，美国马里兰大学
开发了 ALV（Autonomous Land Vehicle）军用无人侦察越野车[13]。80 年代后期，日产
与富士通联合研制了 PVS 自动驾驶汽车，具有自动避开静止障碍物和夜间、雨天等恶
劣天气下自动驾驶的功能[14]。德国慕尼黑联邦国防大学开发了 VaMoRs 自动驾驶车，
在试验中 VaMoRs 采用机器视觉识别车道标志线来实现自动导航，在 20 公里的高速
公路实现最高时速为 96km/h 的自主驾驶。同时，许多汽车企业、大学及研究所也纷
纷对汽车自动驾驶系统及相关单元技术进行了广泛的研究。
20 世纪 90 年代初至今，为智能车辆的发展和实用化推进阶段，在这个阶段中，
智能车辆的研究主要集中在智能交通系统 ITS 和军事上的应用，目的是为了解决现行
交通问题和无人侦察任务。
1986 年，欧洲 19 国政府、公司和大学建立了 PROMETHEUS[15]计划后，智能交
通系统 ITS 开始被人们广泛关注，从而也促进了对该领域的研究，PROMETHEUS 计
划为期 8 年，致力改进欧洲的交通系统，改进公路系统，并把公路交通与其他形式的
交通合成为一体，其中各个项目的重点还是放在车辆的改进上。
1995 年，德国慕尼黑国防大学与德国奔驰汽车公司合作的 VaMoRs-P 实验车进行
了从德国慕尼黑到丹麦欧登塞共 1600km 的长距离实验，并成功完成了实验任务，
VaMoRs-P 和前一阶段的 VaMoRs 都采用 EMS-Vision （Expectation-based, Multi-focal,
Saccadic）视觉系统[16]。EMS-Vision 系统是第三代车辆导航动态视觉系统，具有车道
保持、纵向控制、躲避障碍物和换道操作等功能，它主要包括道路检测和跟踪模块
6
RDT（Road Detectionand Tracking），以及障碍物检测和跟踪模块 ODT（Obstacle

Detection and Tracking）
。
意大利帕尔玛大学的 Vislab 实验室开发了多辆智能车辆，90 年代初期针对
PROMETHEUS 计划而开发了 MobLab[19]，之后陆续开发了 ARGO、RAS、TerraMax、
Wrecker、Vito、PReVENT CRF、Oshkosh PLS、TerraMax T2、Grandeur、GDRS Tetravision
System、BRAiVE 多个实验平台。1998 年 6 月，意大利首辆无人驾驶车辆 ARGO 实
验车进行了 2000km 的长距离实验，自主行驶的距离达到 94%的总路程[20]。TerraMax
和 TerraMax T2 分别参加了 DARPA 举行的 Grand Challenge 和 Urban Challenge，而
BRAiVE 则为 VisLab 的首辆 x-by-wire 实验车，综合了 Vislab 实验室多个研究成果，
建立了移动的实验平台，并且进一步推进智能辅助驾驶的实用化进程。该实验室还开
发了多个核心软件平台，分别有：VELD（Vislab Embedded Lane Detector）系统，该
系统通过单目摄像机、DSP 板卡和在线摄像机标定工具箱完成摄像机安装姿态的标
定，实现车道线自动检测和车辆定位；GOLD（Generic Obstacle and Lane Detector）系
统[21]，该系统是基于道路平坦假设进行道路障碍物检测和车道检测，经过多年的研究
已经发展成一个可扩展的软件平台，可以利用逆透视投影变换去除左右图像的透视效
果，利用数学形态学对单幅图像进行结构化道路的道路标志线识别，可以通过多摄像
机的立体视觉、激光雷达、雷达等传感器数据完成障碍物检测；VIDA（VisLab Intelligent
Driver Assistant）系统，该系统的主要应用于车辆智能辅助驾驶方面，功能包括车道
偏离警告、安全距离警告、低速停-走控制和智能巡航控制；VOD （VisLab Obstacle
Detector）系统，用于重型货车的障碍物检测，并提供良好的人机交互界面以辅助驾
驶员掌握障碍物位置。
美国 PATH 项目的汽车自动驾驶系统是加州交通部与加州大学伯克利分校共同合
作的一个项目，PATH 的任务是应用先进技术来增加高速公路的容量和安全性，减少
交通堵塞、大气污染和能源消耗。其中与智能车辆研究紧密联系的先进车辆控制与安
全系统（Advanced Vehicle Control and Safety Systems, AVCSS）是 PATH 的一个大型重
点研究项目，包括车辆横向控制、保持车间距离的队列纵向行驶控制、车辆安全评估
与安全增强、车辆故障诊断与管理、先进车辆定位、车辆通信系统、驾驶员行为模型、
驾驶员与机器的交互学习等方面的研究[22]。
卡内基梅隆大学机器人研究所 Navlab 实验组建立了从 Navlab 1 到 Navlab 11 的多
个系列自主车辆实验平台，其中包括机器车、卡车、公共巴士等，研究方向有越野无
7
人侦察车辆、高速自主车辆、拥挤交通环境下的辅助驾驶、行人检测、环境感知等[26]。
该研究组开发了四套视觉系统，分别为：SCARF（Supervised Classification Applied to
Road Following）系统，对非结构化道路进行自适应彩色分类从而完成识别道路，更
新每帧图像的彩色模型来处理光照和道路外貌的变化，采用投票的方式来寻找最可能
的道路模型；YARF（Yet Another Road Following）系统，利用结构化道路的标志、条
纹等特征来跟踪和校验检测道路，包括特征提取、几何建模、误差检测和恢复、噪声
建模；ALVIN（Autonomous Land Vehicle In a Neural Net）系统，利用神经网络的方法
完成车道检测，通过检测信息进行车辆控制；RALPH（Rapidly Adapting Lateral Position
Handler）系统，包含了道路识别和障碍物检测等功能。
美国在 90 年代提出了 DEMO 计划[30][31]，由 DARPA（Defence Advanced Research
Projects Agency）负责实施，先后开发出 DEMO-I、DEMO-II、DEMO-III 等数十辆自
主实验车辆。另外 DARPA 还应国会和国防部的要求组织了 Grand Challenge 和 Urban
Challenge 智能车辆挑战赛，使智能车辆的研究进一步的推进。
日本运输省主导的 ASV 项目[32]和通产省主导的 SSVS 项目[33]包含了自动驾驶系
统的开发，ASV 项目中汽车自动驾驶系统由各大汽车厂商参与，第一期包括概念设计、
单元技术研究、系统技术研究、实验车制造和试验的实施，第二期包括开发目标的设
定、单元技术实用化及系统综合技术研究开发、实验车制造和试验的实施。SSVS 项
目中的汽车自动驾驶系统包括基于车间通信和车间距离测定的协调型自动驾驶系统
和基于电动汽车的自动驾驶系统。
20 世纪 80 年代末，我国智能车辆研究开始起步，国家 863 计划在自动化领域智
能机器人主题中确定进行遥控驾驶的智能移动平台研制，“八五”预研项目中确定地
面智能机器人技术研究和研制自主式的无人驾驶平台演示验证系统。由国内多所重点
大学联合研制的 ATB-1（Autonomous Test Bed-1）是我国的第一辆样车，并取得突破
性的进展，之后陆续在“九五”、“十五”期间研制了自主地面车 ATB-2、ATB-3。目
前，开展地面智能车辆方面研究的单位主要是一些大学和科研机构，清华大学研制的
THMR 系列[34][35]智能车辆主要实现视觉临场感遥控、车道线自动跟踪、复杂环境下
的道路避障等功能，车载配置了规划、监控、视觉和多台测控计算机，各计算机通过
以太网实现数据通信，传感器有磁罗盘-光码盘、DGPS、激光雷达和 CCD 摄像机。
国防科技大学在 80 年代末开始跟踪和自动驾驶技术研究，先后研制了视觉导航自主
车 CITAVT 系列的无人车，其中 CITAVT-IV[36]的主要目标是在结构化道路环境下实现
8
自主驾驶，车载摄像机为主要环境感知传感器。吉林大学也展开了智能车辆自主导航
的研究，先后研制开发出 JLUIV 系列[37]的视觉导航智能车辆，
随后开始进行 Cybercar[38]
的研究，该平台除了 CCD 摄像机之外，还加装了红外避障传感器和激光传感器，用
于分步完成环境信息获取、障碍物感知、局部路径识别的任务。西安交通大学在
Springrobot 平台[39][40]的基础上研制出两台样车“夸父一号”和“思源一号”，可通过
激光雷达和视觉模块实时完成道路检测、行人检测、车辆检测等任务。北京理工大学
智能车辆研究所推出的 BIT 智能车辆平台装有摄像机、激光雷达、DGPS、惯性导航
系统，其系统包括环境感知模块、规划决策模块和底层执行模块，整个系统基于 CAN
总线和以太网进行数据传输和通信。
1.2 智能车辆环境感知相关技术研究
环境感知模块是智能车辆技术研究的一个重要组成部分，也是智能车辆技术研究
的关键部分，而环境感知技术是一个十分庞大的研究方向，本文主要针对两个典型的
城市交通环境特征展开课题研究。
1.2.1 路面车辆检测方法的研究现状
从目前车辆检测所采用的传感器来看，路面车辆检测方法主要包括基于机器视
觉、雷达、红外传感器、多传感器融合等，下面按照传感器对路面车辆检测的研究方
法和现状进行阐述。
（1）基于机器视觉的检测方法
基于机器视觉的车辆检测根据摄像机是否固定安装可以分为监控系统中的车辆
检测和车载视觉的车辆检测，前者主要应用于智能交通系统，而后者主要应用于智能
车辆或辅助驾驶系统。车辆检测算法需要有很强的实时性和鲁棒性，在实际处理中由
于获取图像的数据量大，不可能整幅图像全局搜索，需要建立感兴趣区域来增强视觉
处理的实时性，大多数检测方法都是按照假设产生和假设验证的流程进行。
基于知识的方法是基于机器视觉中最常用的方法，在背景相对简单的行驶环境
中，通过车辆在图像中的一些明显特征可以有效地检测出车辆，例如对称性、边缘、
位置、角点、阴影、纹理、车身部件、色彩等。对称性在机器视觉中常用于经常用于
目标检测和识别，无论是车辆前脸还是车辆尾部，都具有良好的对称特征，利用车辆
的这一特征进行检测容易受噪声干扰，其虚警率较高。Broggi 等人[41]利用边缘信息的
9
对称性寻找相似区域完成假设产生，还有一些文献利用机器学习的方法对车辆的对称
性进行统计学习，Zheng 等人[42]对车辆全局和局部对称特征进行分析，并构建一个级
联分类器实现车辆检测。从车辆的尾部来看，车辆的车后窗、后保险杆存在垂直和水
平方向的边缘信息，Srinivasa[43]利用 Sobel 算子进行垂直和水平边缘检测，然后利用
车辆结构的先验知识将车辆提取出来。Betke 等人[44]提出 coarse-to-fine 的搜寻方法搜
索矩形目标从而检测出车辆。Bucher 等人[45]利用车辆行驶在路面上的这一位置特征，
假设完成车道检测，从车道区域底部进行垂直搜索。由于车辆的形状特征类似矩形，
通过车辆的四个角点的模板也可以进行车辆的检测[46]。在光照条件较为良好的行驶环
境中，车辆行驶在路面上其底部会产生一块阴影区域，部分研究通过最大概率法确定
路面的均值和方差来间接获取阴影区域分割的阈值[47]，也可以通过阴影特征生成车辆
假设，然后通过不同的分类算法完成假设验证[48]，但这些方法在光照条件恶劣情况下
的检测效果并不理想。利用纹理特征信息进行车辆检测可借助能量函数、信息熵、粗
糙度、自相关等概念来快速缩小和确定车辆可能的存在区域[49]，但在复杂的城市行驶
环境中，其背景十分复杂，纹理信息比较多，使用该方法容易产生虚警或误检测。另
外还有利用彩色摄像机进行车辆检测研究，由于路面色彩相对固定，而车辆的色彩多
变，往往利用车辆色彩不同于路面色彩的方法将车辆从路面背景中分割出来，采用色
彩量化和聚类可以完成分割任务[50]。而更多的研究则更偏重于多特征的融合来产生车
辆候选区域，因为利用多特征的方法其鲁棒性更好，Hoffmann 等[51]利用阴影和对称
性特征融合的方法检测车辆，然后使用 IMM 算法进行跟踪。王荣本等人[52]首先利用
阴影特征车辆候选区域，再通过分形维数计算该区域的纹理特征排除虚警，最后利用
边缘和 NMI 特征对车辆定位。Clady 等人[53]也是利用车辆阴影得到感兴趣区域 ROI，
再利用小波变换和 SVM 分类器进行验证。Wang 和 Lien[54]在车辆样本中建立三个子
区域利用统计学习的方法找出子区域中的组合特征，还有一些文献[55]分别使用车底阴
影、边缘信息、对称性、纹理或形状等两种或多种车辆先验特征知识完成检测任务。
基于模板的方法首先需要根据不同类型的车辆所共有的特征作为车辆检测的特
征模板，然后利用这些模板与待识别图像进行匹配，通常结合基于模板的方法和基于
知识的方法，先利用特征找到车辆的候选区域再通过模板匹配完成，这样有效地提高
检测的速度和准确率。常用的模板车牌和车后窗的几何位置关系[60]，车辆与地面接触
而形成的 U 形特征[61]，3D 模型匹配[62]或者可变灰度比例模板[63]等。
基于立体视觉的方法主要有视差图和逆透视投影视图。大部分的基于立体视觉的
10
方法都是假设路面为水平，然后把左侧摄像头获得图像转换成世界坐标，再投影到右
侧摄像头获得的图像中，并通过与右侧摄像头获得的实际图像进行比较分析，可以获
得高出路面物体的轮廓，又或者将左右两幅图像都分别进行逆透视投影变换，再找到
高出路面物体[64][65]。另外，在真实的路面行驶会不可避免摄像机的振动，为解决这一
问题，Raphael 等人[66]提出利用“v 方向视差图”的方法来进行车辆和道路的识别。
基于立体视觉的方法其计算量十分大，鲁棒性和准确性受系统参数影响较大，如何提
高该方法的计算实时性和鲁棒性成为立体视觉的关键问题。
基于运动的方法（一般称为光流法）可以不需要知道检测目标的先验特征，但对
噪声和光照变化较为敏感，车辆行驶过程中的振动也会影响该方法的效果，而且其计
算量比较大导致实时性较差。另外，对于检测前方车辆，由于其相对速度一般较小，
光流法往往不能得到很好的检测结果，而在对于侧方超越或变道的车辆来说，两者间
有较大的相对速度，使用光流法能够得到很好的检测效果，因此光流法适用于检测从
侧方超越和变道的车辆。Wang 等人[67]提出一种利用光流和准静态背景建模检测从旁
边超过的车辆的方法，该方法将背景分为动态和准静态区域，利用均匀稀疏光流对动
态背景建模，为了适应光照的变化，准静态背景的建模使用了分块的方法。Gillner 等
人[68]利用特征光流检测超车和变道的车辆，在不同尺度的高斯金字塔图像中计算不同
速度的运动区域。
（2）基于激光雷达的检测方法
激光雷达具有良好的空间数据获取能力，使用激光雷达可以方便地进行运动目标
检测，具有数据量小、检测范围大、实时稳定等优点。由于激光雷达数据信息量相对
图像少，其处理和识别方法与图像处理存在较大区别，Zhao 等人[69]利用激光雷达的
扫描数据对车辆行驶进行监控，分析车辆在激光雷达数据中的形状变化规律，再利用
SVM 分类方法进行车辆识别，最后使用卡尔曼滤波器进行目标跟踪。Lindstrom 等人
[70]
搭建车辆激光雷达平台，通过消除全局运动之后合并具有相同运动矢量的区域，应
用车辆运动模型，实现对周围运动目标的实时监控。Dietmayer 等人[71]使用车载激光
雷达进行检测、跟踪和分类周围的目标，该方法采用了局部运动估计和仿射变换，将
相对运动转换为全局运动，利用道路模型、车辆模型和传感器模型实现基于单个激光
雷达的交通场景检测。
（3）基于多传感器融合的检测方法
单一传感器无法保证周围环境信息的完整和可靠，在智能车辆上应用需要有很强
11
的实时性和鲁棒性，多传感器信息融合能够有效地克服单一传感器可靠性低、有效探
测范围小等缺点，因此采用多传感器信息融合是智能车辆实现环境感知的趋势。在车
辆检测领域中，常用的多传感器融合主要有机器视觉与激光雷达传感器的融合，机器
视觉与雷达传感器的融合，还有其他的一些传感器之间的融合。无论使用什么传感器，
其中运用机器视觉实现融合的话都会运用到前面基于机器视觉的检测方法。机器视觉
对物体的形状纹理特征有很好的解析能力，适用于物体的分类和危险程度的计算，而
激光雷达和雷达在物体探测、距离探测、速度探测等方面有较大的优势，因此对这三
种传感器的融合越来越受重视，成为当前智能车辆环境感知研究的研究热点。
文献[72]利用基于机器视觉和激光雷达融合的方法建立前方车辆检测系统，为了
提高车辆检测的可靠性，建立基于最小风险 Bayes 原理的分布式目标检测决策信息融
合方法，对机器视觉和激光雷达的局部检测结果进行融合，得到车辆检测的全局判断
结果。Wender 和 Dietmayer[73]则利用三维激光雷达和机器视觉实现车辆检测，其方法
为利用三维激光雷达的物体探测特性在图像上建立感兴趣区域，然后运用基于视觉的
方法完成最终的车辆检测。文献[74]利用雷达在图像上产生感兴趣区域，然后通过视
觉的检测方法最终校验出检测车辆。Roland 等人[78]利用雷达和单目视觉获得的信息通
过卡尔曼滤波器实现对车辆的判断。Khammari 等人[79]提出了利用粒子滤波器对雷达
信息和不同图像特征进行综合分析从而提高车辆识别的鲁棒性和准确性。除此之外还
有一些研究利用声纳和视觉融合[80]、雷达与里程计相结合[81]、视觉和惯性传感器融合
[82]
等方法实现对车辆的检测。
（4）其他的一些检测方法
除了使用常用的视觉和激光雷达传感器进行车辆检测之外，一些研究机构尝试利
用其他一些传感器进行车辆检测领域的新探索也试图利用这些传感器，Broggi 等人提
出采用红外传感器对前方车辆进行检测、跟踪以及距离估计[83]，红外传感器具有不受
天气和光照影响的优点，也不受车辆的外形、色彩或纹理的影响，特别适用于夜间的
车辆检测，但会容易受到热源的影响。
1.2.2 交通信号灯识别方法的研究现状
交通信号灯检测与识别按摄像机的安装方式和用途可以分为静态的交通信号灯
识别和动态的交通信号灯识别，前者为摄像机固定安装，主要用于智能交通系统中，
检测十字路口交通情况和检测是否有车辆闯红灯，后者为摄像机安装在车上，主要用
12
于智能车辆上，为车辆行驶提供重要的路径规划和导航信息。到目前为止，有不少的
研究主要针对基于视觉的交通信号标志识别，但在智能车辆应用中，针对车载摄像机
的交通信号灯识别研究相对很少，下面对交通信号灯识别研究现状进行分析。
Nelson H. C. Yung 和 Andrew H. S. Lai [84][85]提出一种基于视觉的自动检测闯红灯
车辆方法，该方法采用固定安装的摄像机对闯红灯的违章车辆进行监控，由于背景静
止和根据信号灯转换时序辅助，其准确率高并且系统稳定。Yun-Chung Chung 等人[86]
提出的自动交通信号灯检测系统主要是针对智能交通系统进行设计的，摄像机也为固
定安装，文中通过背景图片的生成预估当前光照强度，对色彩模型和形态学操作进行
模糊处理获取交通信号灯候选区域，最后根据空间和时间信息，包括区域比例、位置
和信号灯转换时序，最终确定识别结果，该方法对不同光照环境条件下的交通信号灯
识别进行了研究。Tadayoshi Shioyama 等人[87]提出一种检测行人交通信号灯的方法，
摄像机固定安装在行人道上，用来检测对面人行道上的红灯和绿灯，该方法采用色彩
相似来提取候选区域，并利用仿射矩不变量确定正确的候选区域，在实验中系统处理
速度相对较慢。另外，Grantham K. H. Pang 和 Hugh H. S. Liu [88]利用 CMOS 摄像机进
行 LED 信号灯的识别实验，但文中的实验只是在室内环境进行。上述文献主要是针
对智能交通系统提出的交通信号灯检测，摄像机都为固定安装，因此这些算法并不十
分适用于智能车辆的交通信号灯识别应用。
随着智能车辆研究的发展，有一部分文献从不同角度提出了基于车载摄像机的交
通信号灯识别方法。Zhuo wen Tu 和 Ron Li[89]提出一种基于马尔可夫链蒙特卡尔理论
（Markov Chain Monte Carlo: MCMC）的交通信号灯识别方法，该方法除了完成交通
信号灯识别的任务之外，还给出交通信号灯的姿态，但是该方法实时性不好，不适合
智能车辆路径规划和决策的应用。Tomohiro Yendo 等人[90]在多篇文献中提出利用高速
摄像机和长焦距镜头对 LED 信号灯实现识别的方法，文献系统地针对从 LED 信号灯
发送装置至和高速摄像机接收装置整个系统的设计，主要应用于智能交通系统，实现
车辆和整个交通系统的通信。
Frank Lindner 等人[96]对城市环境下的交通信号灯采用不同方法进行识别，并且对
不同方法进行对比，基于色彩特征的识别利用修改后的高斯分布分类器来判断是红
灯、黄灯、绿灯或者是背景，首先对采集样本的交通信号灯区域像素进行统计，利用
统计结果把图片的相似区域分割出来，再进行连通区域的分析将噪声点剔除，最后剩
下区域为交通信号灯检测结果。基于灰度值特征的识别，文中主要采用了形状特征、
13
模板匹配和级联分类器的方法进行识别，利用形状特征的方法文中只用来检测圆型的
信号灯，运用 Sobel 算子进行边缘特征检测，然后用 Hough 变换寻找图中机动车信号
灯，若利用形状特征检测方向信号灯时，需要根据不同的形状建立形状规则进行检测，
其检测灵活性受到限制；利用模板匹配的方法文中设计了一个通用模板和一个精细模
板，通用模板加入积分图计算选出候选区域，精细模板进一步把候选区域大大减少，
但利用模板匹配的方法会存在相对于形状特征检测方法更高的虚警率，因此文中运用
模板匹配后再加入跟踪和神经网络的方法把虚警进一步去除；级联分类器的方法通过
采集正负样本进行训练，文中采用基于机器学习的方法具有很好的扩展性和灵活性，
在不改变系统的情况下可以对机动车和转向信号灯实现自动检测，但该方法的实时性
需要进一步提高。
Hwang Tae-Hyun 等人[97]提出利用视觉进行交通信号灯检测来实现交叉路口位置
的估计，该方法在背景相对简单的情况下，如天空为背景，能够进行长距离检测，估
计交叉路口的位置可以通过可视化的方式为驾驶员提供重要的导航信息，文中算法采
用色彩阈值分割方法，利用 Gaussian mask 找到交通信号灯的中心，然后通过
existence-weight map 校验交通信号灯的候选区域。Youn K. Kim 等人[98]为色盲患者设
计了一个实时的交通信号灯识别系统，该方法通过调节图片的 RGB 成分、阈值分割
和中值滤波实现交通信号灯识别，文中还讨论了在不同天气环境下对交通信号灯的识
别。Yehu Shen 等人[99]利用车载摄像机对视频序列进行处理，对每帧图像数据分别实
现交通信号灯的识别，该算法根据高斯分布建立色相和饱和度模型，通过采集样本学
习统计模型参数，最后在候选区域中根据光斑的形状特征完成识别的校验过程。
Kuo-Hao Lu 等人[100]通过检测和分类两个过程完成交通信号灯的识别，该算法同样利
用色彩空间提取交通信号灯的候选区域，将区域进行标号，在每个候选区域中根据自
行定义的形状特征规则进行圆形和箭头形状的模板特征匹配，该方法在交通信号灯成
像较大（信号灯面积 > 165 个像素）的情况下可以对圆形和箭头形状的信号灯进行分
类，因此通过车载摄像机进行采集时，其识别距离不能太远，不利于智能车辆在交叉
路口的路径规划和决策。Raoul de Charette 等人[101]总结了前人研究的交通信号灯识别
方法大部分都是针对悬挂式交通信号灯所提出的，在车载摄像机的视野范围中，悬挂
式信号灯的背景都是天空，背景环境相对简单，而文中提出了一个适用于背景环境复
杂的立柱式交通信号灯识别方法，该算法首先基于光斑和光斑形状进行候选区域检
测，然后把这些假设区域通过自适应模板匹配最终识别到交通信号灯。
14
1.3 课题研究背景与论文内容结构
1.3.1 课题研究背景
本课题是“985”科研平台建设——车辆环境感知实验平台科研工作的一部分。
为加大对该项目的研究力度，学校于 2005 年 12 月中旬成立了学科特区智能车辆研究
所，通过整合多学科优势，提高科研创新水平。
智能车辆应具有对环境感知能力以及对周围场景的完整表征能力。无论是在社会
服务、工程救援还是在国防军事等各个领域都具有广泛需求和良好的应用前景，为此
国家“863”计划、自然科学基金项目、国防总装项目等都在此研究方向上设有专项
基金，本论文正是在这样的背景需求下开展并深入进行的研究。
1.3.2 论文内容结构
第一章绪论。首先对智能车辆的研究背景及意义，研究进展和现状进行概述，然
后对路面车辆检测方法和交通信号灯识别方法进行了详细的研究现状分析，最后对课
题研究背景和论文内容结构进行说明。
第二章车载激光雷达与机器视觉的标定与数据融合。建立激光雷达、摄像机、图
像、车体、世界坐标系之间的转换模型，完成基于激光雷达与机器视觉相结合的摄像
机标定和传感器数据融合，通过多组实验验证摄像机标定和数据融合的准确性和可行
性。
第三章基于激光雷达与机器视觉的前方车辆检测。通过比较各种聚类算法，结合
激光雷达数据特点提出基于改进 DBSCAN 的二维激光雷达数据聚类算法，降低了原
始 DBSCAN 算法对激光雷达数据聚类的参数敏感度和实时性，利用激光雷达扫描中
的三种车辆模型完成车辆假设产生，并作为后续级联分类器的第一级节点。通过
Haar-like 特征与 AdaBoost 算法完成车辆的假设验证，采用卡尔曼滤波器的方法实现
基本的车辆跟踪，通过实车实验完成算法的验证和获得检测结果。
第四章基于彩色机器视觉的交通信号灯识别与跟踪。分析现有的交通信号灯规定
和交通信号灯识别存在的问题，选取合适的彩色空间，运用彩色空间转换模型完成图
像分割，并进行去噪和区域标记等图像预处理。通过多种交通信号灯样本训练具有鲁
棒性和适应性的分类器，采用基于彩色特征的 CAMSHIFT 算法完成交通信号灯跟踪，
将识别跟踪结果按照制定协议传送至整车 CAN 总线网络实现信息共享和完成自动车
15
辆引导，通过实车实验对算法进行了验证。
第五章基于 CAN 总线通信网络的智能车辆控制系统。介绍车载网络系统与 SAE
J1939 标准，系统叙述智能车辆实验平台的各个层次的结构，论述 CAN 总线在智能车
辆系统中应用的意义，搭建基于 CAN 总线通信网络的智能车辆控制系统，参照 SAE
J1939 标准制定了应用于智能车辆的 CAN 总线通信协议，实现了智能车辆各个层次之
间的信息共享和控制指令的传输，完成基于 CAN 总线车辆控制系统的软硬件设计，
并结合中国首届“智能车未来挑战赛”（The Future Challenge: Intelligent Vehicle and
beyond （FC'09））进行现场实车实验。
第六章总结与展望，对论文进行了总结并展望了未来的研究内容和发展方向。
16
2 车载激光雷达与机器视觉的标定与数据融合
在智能车辆的研究领域中，环境感知传感器通常采用摄像机、雷达、GPS、红外
传感器等。然而每个传感器存在各自的坐标系和特点，车辆行驶在复杂环境中，如果
只使用单一传感器局限了环境感知的准确性和鲁棒性，在智能车辆研究中通常使用多
个传感器进行数据采集，利用传感器数据融合技术对检测到的数据进行分析、综合、
平衡，根据各个传感器信息在时间或空间的冗余或互补特性进行容错处理，扩大系统
的时频覆盖范围，增加信息维数，避免单个传感器的工作盲区，从而得到所需要的环
境信息[102]。因此，随着智能车的研究和应用领域逐步地深入和多样化，传感器数据
融合技术在智能车辆技术的研究领域应用倍受欢迎。
本章首先介绍激光雷达的环境感知原理，建立激光雷达几何模型，然后利用激光
雷达与摄像机相结合的方法实现摄像机的内外参数标定和像素级数据融合，最后通过
实验对标定参数进行验证。
2.1 激光雷达环境感知技术
2.1.1 激光雷达距离测量技术
激光雷达是一种主动探测设备，利用激光雷达测距技术可以得到车辆周围的深度
信息，从而可以准确地感知车辆周围的环境，激光雷达具有数据获取快、实时性强、
获得距离及位置探测精度高、方向性好等优势。因此它广泛应用于障碍物检测、环境
三维信息的获取、车距保持、车辆避障等研究中。
在激光雷达测距方面，从测距机理上分为脉冲测距和连续波测距，一般有三种方
法[103]：脉冲时间测距、调幅连续波测距和调频连续波测距。下面仅介绍脉冲时间测
距原理，脉冲时间测距是利用激光脉冲传播往返时间差（Time of Flight, TOF）的测量
来完成的。原理如图 2.1 所示，激光射向被测目标，遇到目标后，激光脉冲的部分能
量从目标返回到接收器上。当光速为 C，计时基准脉冲频率为 f ，发射信号和回波的
时间间隔 tr ，计数器读数为 n ，则目标距离为 L 如下式所示。
Ct r C n
L= = （2-1）
2 2f
17
图 2.1 TOF 测距
激光雷达所获得的数据是由全离散的矢量距离点构成的“点云”，它的每一个像
素所包括的是一个距离值和一个角度值。距离图像本身蕴含了丰富的特征信息，但它
又没有任何明显的形体信息和拓扑关系信息，使得必须与其他传感器如 CCD 等结合
使用，因而大多作为快速获取高精度距离数据的一种重要技术手段。
2.1.2 激光雷达安装外参数标定
激光雷达与车体为刚性连接，两者间的相对姿态和位移固定不变，为了建立各个
系统之间的相对坐标关系，在进行摄像机参数标定前，需要对激光雷达的安装进行简
单的标定，使激光雷达数据从激光雷达坐标转换至车体坐标上。本研究采用等腰直角
三角标定板完成激光雷达安装外参数的标定，其扫描模型和几何模型如图 2.2 所示。
（a）激光雷达扫描模型（b）激光雷达几何模型
其中：△CBA 为等腰直角三角标定板，Ol 激光雷达坐标原点，OlFD 为激光雷达扫描平面
图 2.2 激光雷达扫描几何模型
根据图 2.2，可以建立转换模型，模型如下：
⎡ xv ⎤ ⎡ xl ⎤
⎢y ⎥ = R ⎢y ⎥ +T
⎢ v⎥ l
⎢ l⎥ l （2-2）
⎢⎣ zv ⎥⎦ ⎢⎣ 0 ⎥⎦
18
其中 Rl 为激光雷达坐标系相对与车体坐标系的旋转矩阵，Tl 为激光雷达坐标系相对与
车体坐标系的平移向量，由于车辆左右轮胎的气压、左右悬架不一、地面不平和其他
因素的影响，激光雷达安装的翻滚角会在一定范围内进行变化，因此在本研究中忽略
激光雷达翻滚角的影响，在安装的时候采用水平尺或惯性导航系统来调节翻滚角趋于
0 。同时由于这种变化和误差对前方障碍物识别影响不大，只要把感兴趣区域进行扩
大即可解决标定中产生的微小误差，另外系统定义 xv 与 xl 平衡，则偏航角为 0 。
激光雷达的外部参数只考虑俯仰角和安装高度，具体转换方程可通过式（2-2）简
化为如下所示：
⎡ xv ⎤ ⎡1 0 0 ⎤ ⎡ xl ⎤ ⎡ 0 ⎤
⎢ y ⎥ = ⎢0 cos α sin α ⎥⎥ ⎢⎢ yl ⎥⎥ + ⎢⎢ 0 ⎥⎥
⎢ v⎥ ⎢ （2-3）
⎢⎣ zv ⎥⎦ ⎢⎣0 − sin α cos α ⎥⎦ ⎢⎣ 0 ⎥⎦ ⎢⎣ H ⎥⎦
由上式（2-3）可以得到：
⎡ xv ⎤ ⎡ ρl cos θl ⎤
⎢ y ⎥ = ⎢ ρ sin θ cos α ⎥
⎢ v⎥ ⎢ l l
⎥ （2-4）
⎢⎣ zv ⎥⎦ ⎢⎣ H − ρl sin θl sin α ⎥⎦
同时由于△CBA 为等腰直角三角形，即有 CF = DF ， zvF = BC − CF = BC − DF ，

在△OlDF 中有：
DF = ρlF 2 + ρlD 2 − 2 ρlF ρlD cos(θlD − θlF ) （2-5）
zvF = BC − DF = H − ρlF sin θlF sin α （2-6）
因此由（2-5）
（2-6）联立约束方程，把标定板放置多个不同的位置优化求解激光
雷达的安装参数 H 和 α 。本系统激光雷达的主要目的是检测智能车辆行驶前方的障碍
物，为了能够及时检测识别出障碍物，并且能够实时对车辆底层进行控制，需要有较
远的预瞄距离，因此激光雷达扫描距离大小直接影响智能车辆的预瞄距离。按照技术
说明来说，LMS211 型激光雷达的最大扫描距离为 81.91m，但实际上该距离会因不同
的行驶环境和天气而有所改变，同时激光雷达的安装高度和俯仰角大小也会影响最大
的扫描距离。在实际的车载应用中，激光雷达的安装高度固定不变，将 INNALABS
AHRS 捷联惯导传感器与激光雷达激光发射平面保持平行固定安放，得出激光雷达的
姿态角，再与车载 OCTANS 系统的车体姿态角比较获得两者的相对姿态角，并调节
激光雷达安装机构使两者的姿态角差值趋于 0 ，完成姿态角的粗调，最后利用等腰直
角三角标定板的方法完成安装高度的标定和俯仰角的修正。
19
2.2 基于激光雷达与机器视觉的车载摄像机标定方法
智能车辆行驶需要从环境感知传感器获取外界环境信息，确定当前时刻车辆在道
路可行驶区域的相对位置，以及周围障碍物与车辆的相对位置，从而根据感知结果进
行局部路径规划，最后根据规划路径实现车辆控制。环境感知作为智能车辆自主行驶
的第一个环节，需要对各个环境感知传感器进行标定。目前，传统摄像机标定技术理
论和实验方法相对成熟，因此，许多成熟的计算机视觉软件包都有摄像机标定模块，
如微软的 Easy Camera Calibration 工具箱，Intel 的开放源码计算机视觉库 Intel OpenCV
（Intel Open Source Computer Vision Library）、加州工学院的 Bouguet 等人开发的
MATLAB 摄像机标定工具箱。
在车载摄像机应用中，由于安装位置和角度的需要，利用传统标定板进行摄像机
外参数标定会存在一些问题：
（1）标定板与摄像机的距离，首先标定板不能离摄像机太远，在摄像机分辨率
确定后，如果距离太远标定板在摄像机中的成像会比较小，系统无法精确获取标定板
上的特征点，从而影响标定精度，但在实际的车载应用中，标定板与摄像机会存在一
定的距离。
（2）标定板尺寸的要求，对摄像机外部参数进行较为精确的标定，需要特征点
尽可能的分布在图像上各个位置，增强特征点的约束控制，从而可以提高标定精度，
这样则需要标定板的尺寸较大才能满足要求。若标定板平躺于地面，以地面作为世界
坐标系中的一个基准面，这时标定板的尺寸则需要很大的面积才能在摄像机中成像清
晰；若标定板垂直地面放置，标定板的尺寸则不需要太大，但需要利用测量工具对标
定板与地面的相对位置测量出来再进行坐标的转换。
（3）光照的影响，室内环境跟室外环境存在很多区别，其中太阳光照的影响为
标定及图像处理的重要影响因素之一，若标定板平躺于地面，太阳光线的照射会导致
标定板在摄像机成像不清，会有反光现象。
本文结合车辆行驶环境的实际应用情况，提出一种利用二维激光雷达深度信息和
机器视觉相结合的摄像机标定方法，该方法通过提取标定物在二维激光雷达和图像上
的对应特征点进行摄像机外参数的标定，同时完成二维激光雷达坐标、摄像机坐标、
图像像素坐标和车体坐标多个传感器坐标的统一，实现各传感器的数据融合。
20
2.2.1 车载环境感知系统坐标模型建立
车载环境感知系统坐标模型的建立需要根据车辆的实际行驶环境和系统要求而
确定。首先建立可以根据行驶环境变化而实现环境感知传感器外部参数自标定的坐标
系统模型，然后再根据系统的实际需求对该模型进行简化，简化模型可以提高系统的
实时性和降低系统的复杂性。
为实现环境感知传感器外部参数根据行驶环境的改变而改变，需要引入能够获取
车辆姿态的惯性导航传感器，从而完成传感器外部参数的自标定，其具体安装位置和
各个传感器坐标系的建立如图 2.3 所示，其中 ow xw yw zw 为世界坐标系，ov xv yv zv 为车体
坐标系， ol xl yl 为激光雷达坐标系， oc xc yc zc 为摄像机坐标系，下面简单介绍以下几个
坐标系：
1 oc
zv zc
yc
3
o v yv 2 ol
zw H yl
ow yw
ov yw yv ol
3 o
xw 1 c zc 2 yl
xc xl
xv
其中：1 摄像机，2 激光雷达，3 OCTANS 系统
α —激光雷达安装俯仰角，H—激光雷达安装高度
图 2.3 传感器位置和各坐标定义
（1） ow xw yw zw 为世界坐标系，其坐标以大地水平面为基准，其原点为车体坐标
系原点至地面的垂直投影， yw 为车辆的行驶方向在水平面上的投影， zw 则定义为水
平面的法向方向， xw 遵循坐标系的右手定则；
（2） ov xv yv zv 为车体坐标系，反应车辆当前与世界坐标系的相对姿态，其坐标系
与惯性导航系统的安装有关，因此其相互之间必须为刚性连接，ov 为惯性导航系统的
原点， yv 为车辆纵向方向， xv 为车辆横向方向， zv 为车辆垂向方向；
（3） ol xl yl 为激光雷达坐标系，坐标原点为激光雷达的激光发射点， yl 轴的方向
为激光雷达扫描角度范围的角平分线， xl 轴的方向在激光雷达平面上垂直 yl 轴；
（4） oc xc yc zc 为摄像机坐标系， oc 坐标原点为摄像机光心， zc 轴的方向为摄像机
21
光轴的方向， xc 和 yc 分别与图像物理坐标系 xu 与 yu 方向平行；

根据上述各个传感器坐标系的定义，建立该系统的坐标转换模型，设激光雷达扫
描点在激光雷达坐标系上为 Pl ，转换至车体坐标系为 Pv ，转换至世界坐标系为 Pw ，进
一步转换至摄像机坐标系为 Pc ，最终转换至图像坐标系为 pi ，其表达公式如下：
Pl = ( ρl cos θl , ρl sin θl ,1)T （2-7）
Pv = Rlv Pl + Tlv （2-8）
Pw = Rvw Pv + Tvw = Rvw ( Rlv Pl + Tlv ) + Tvw （2-9）
Pc = Rwc Pw + Twc （2-10）
pi = KPc （2-11）
上述模型中，θl 和 ρl 为该扫描点的扫描角度和扫描距离， Rij 为坐标系 i 转换至坐标系

j 的 3×3 旋转矩阵， Tij 为坐标系 i 转换至坐标系 j 的 3×1 平移向量， K 为摄像机内
部参数矩阵，通过不同位置的多个特征点建立约束方程，最后通过直接线性变换
（DLT）方法求解各个转换模型的旋转矩阵和平移向量。
上述的系统坐标模型可以很好地求解出环境感知传感器在凹凸不平的越野路面
上不断变化的外部参数，利用车体姿态可以实现行驶过程中环境感知传感器的外部参
数自标定，最终实现基于环境感知传感器的智能车辆导航。但一般在城市环境下，其
路面一般为平坦路面，车体姿态变化并不大，因此对外部环境障碍物的检测定位来说，
传感器外部参数的变化对障碍物的检测定位结果影响也并不大，可以对系统坐标模型
进行简化处理，简化后的系统坐标模型如图 2.4 所示。
简化模型利用激光雷达、摄像机与车体为刚性连接的特点，把车体坐标系的位置
进行了转移，以车体坐标系来描述各个空间各点的位置，并且把各个传感器、车体和
外界行驶环境关联起来。坐标系根据描述和计算方便等原则来自由选取，若车体坐标
系的选取适当则可以大大地简化模型的数学表达式。因此为了简化计算车辆在行驶环
境的相对位置和行驶环境中任何物体的相对车辆的位置，定义坐标原点为激光雷达坐
标系坐标原点至行驶路面的垂直投影点，该原点根据车辆的行驶而移动，其他三个方
向轴方向遵循坐标系的右手定则，简化的转换方程如下所示：
Pv = ( ρl cos θl , ρl sin θl cos α , H − ρl sin θl sin α )T （2-12）
22
Pc = Rc Pv + Tc （2-13）
pi = KPc （2-14）
上述模型中， Rc 为摄像机外部参数的旋转矩阵，Tc 为摄像机外部参数的平移向量， K

为摄像机内部参数矩阵，同样通过不同位置的多个特征点建立约束方程求解 Rc , Tc 。
1 oc
zc
zv
yc 2o
l
H yl
ov yv
ol yl
oc zc
1 2 ov yv
xl
xc xv
其中：1 摄像机，2 激光雷达

α —激光雷达安装俯仰角，H—激光雷达安装高度
图 2.4 简化后的传感器位置和各坐标定义
简化的系统坐标模型省去了惯性导航系统，只采用激光雷达和摄像机作为系统的
环境感知传感器，省去对惯性导航传感器的实时数据采集，无疑减少了系统复杂度和
坐标之间转换的计算量，有效地减少系统复杂度和提高系统实时性，因此本研究以简
化的系统坐标模型为车载系统坐标，并通过在后续的实车实验证明简化系统坐标模型
的可行性。
2.2.2 摄像机模型建立
车载环境感知系统坐标模型建立后，根据激光雷达、摄像机和车体之间的相互关
系，建立摄像机模型，从而获得摄像机内部参数和外部参数的约束方程，并对系统各
个坐标之间的关系进行详细分析和推导。
摄像机模型的建立，主要是建立世界坐标系（即系统坐标系中的车体坐标系）、
摄像机坐标系和图像坐标系之间的关系。车体坐标与摄像机坐标分别在前面章节作了
详细的介绍，图像坐标系则分为图像物理坐标系和图像像素坐标系两种，如图 2.5 所
示。图像物理坐标系 ou xu yu ，其原点为透镜光轴与成像平面的交点 ou ， xu 与 yu 分别平
行于摄像机坐标系的 xc 与 yc ，为平面直角坐标系，单位为毫米；图像像素坐标系 oouv ，
23
固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角， u 与 v 平
行于图像物理坐标系的 xu 与 yu ，对于数字图像来说，分别为行、列方向。
图 2.5 图像坐标系
图 2.6 摄像机透视变换投影模型
三维空间上的物点从车体坐标系转换至图像坐标系，即通过针孔摄像机模型将三
维空间中的点透视变换投影到图像平面上，如图 2.6 所示为摄像机透视变换投影模型。
下面以物点 P 为对象，对该模型进行分析。
（1）车体与摄像机为刚性连接，因此车体坐标系中物点 P ( xv , yv , zv ) 到摄像机坐
标系 P ( xc , yc , zc ) 的转换方程如下：
⎡ xc ⎤ ⎡ xv ⎤
⎢y ⎥ = R ⎢y ⎥ +T
⎢ c⎥ c
⎢ v⎥ c （2-15）
⎢⎣ zc ⎥⎦ ⎢⎣ zv ⎥⎦
⎡ r1 r2 r3 ⎤ ⎡Tx ⎤
其中 Rc = ⎢⎢ r4 r5 r6 ⎥ ， Tc = ⎢⎢Ty ⎥⎥
⎥
（2-16）
⎢⎣ r7 r8 r9 ⎥⎦ ⎢⎣Tz ⎥⎦
24
⎧ r12 + r2 2 + r32 = 1
⎪
另外 Rc 元素满足： ⎨r4 2 + r5 2 + r6 2 = 1 （2-17）
⎪r 2 + r 2 + r 2 = 1
⎩7 8 9
其中 Rc 为摄像机外部参数的旋转矩阵， Tc 为摄像机外部参数的平移向量，从（2-17）
可知 Rc 为正交矩阵。实际上 Rc 和 Tc 表示摄像机相对于车体坐标系的安装角度和安装位
置，因此把 Rc 和 Tc 定义为摄像机外部参数。
（2）利用理想针孔摄像机模型[104]，通过透视变换投影将摄像机坐标系中物点
P ( xc , yc , zc ) 转换至理想非畸变的图像物理坐标系像点 P ( xu , yu ) ，方程如下：
xc
xu = f （2-18）
zc
yc
yu = f （2-19）
zc
其中 f 为摄像机镜头的焦距，根据图 2.5 可以对图像物理坐标系中像点 Pu ( xu , yu ) 转换

至计算机图像像素坐标系像点 p(u, v) ，方程如下：
x
u = u + u0 （2-20）
dx
yu
v= + v0 （2-21）
dy
其中 u0 , v0 为图像像素中心的坐标，即摄像机光轴与图像平面的交点， dx 为摄像机传
感器 x 方向的像素单元距离， dy 为摄像机传感器 y 方向的像素单元距离， dx 与 dy 由
摄像机厂家提供，可以在摄像机说明书上查找到，为已知量。由此，物点 P ( xc , yc , zc )
与图像像素坐标系中像点 p(u, v) 的变换关系如下：
⎡u ⎤ ⎡ f x 0 u0 ⎤ ⎡ xc zc ⎤
⎢v ⎥ = ⎢ 0 v0 ⎥⎥ ⎢⎢ yc zc ⎥⎥
⎢ ⎥ ⎢ fy （2-22）
⎢⎣ 1 ⎥⎦ ⎢⎣ 0 0 1 ⎥⎦ ⎢⎣ 1 ⎥⎦
其中 f x = f dx , f y = f dy ，分别定义为 x 和 y 方向的等效焦距， f x , f y , u0 , v0 等参数

只与摄像机和镜头的内部结构有关系，因此把 f x , f y , u0 , v0 定义为摄像机内部参数。
（3）通过上述（1）和（2）定义的摄像机内部参数和外部参数，可以建立车体
坐标系中物点 P ( xv , yv , zv ) 与图像像素坐标系中像点 p(u, v) 之间的转换关系，方程如
下：
25
⎡u ⎤ ⎡ f x 0 u0 ⎤ ⎛ ⎡ xv ⎤ ⎞
⎢ ⎥⎜ ⎢ ⎥ ⎟
zc ⎢⎢ v ⎥⎥ = ⎢ 0 f y v0 ⎥ ⎜ Rc ⎢ yv ⎥ + Tc ⎟ （2-23）
⎢1 ⎥ ⎢ 0
⎣ ⎦ ⎣ 0 1 ⎥⎦ ⎜⎜⎝ ⎢⎣ zv ⎥⎦ ⎟⎟
⎠
上式为理想的针孔摄像机模型，物点 P ( xv , yv , zv ) 、光心、像点 pi (u , v) 三点在同一

直线上，即其数学表达式为共线方程，根据这一特点，在摄像机内部参数确定的情况
下，可以利用三维空间上的若干个特征点在车体坐标系中的坐标和图像像素坐标系中
的坐标建立约束方程，从而求解出摄像机的六个外部参数，即摄像机相对与车体的相
对姿态和相对位置。
（4）实际上摄像机并不能完全精确地按照理想的针孔摄像机模型进行透视投影，
通常会存在透镜畸变，物点在摄像机成像平面上成的像与理想成像之间存在一定光学
畸变误差，其畸变误差主要是径向畸变误差和切向畸变误差。理想状态下的像点
P ( xu , yu ) 与考虑镜头畸变的像点 P ( xd , yd ) 存在一定的位置偏差， P ( xd , yd ) 表示如下：
xu x y x
xd = f ( (1 + k1r 2 + k2 r 4 ) + 2 p1 u u + p2 (r 2 + 2( u ) 2 )) （2-24）
f f f f
yu y x y
yd = f ( (1 + k1r 2 + k2 r 4 ) + p1 (r 2 + 2( u ) 2 ) + 2 p2 u u ) （2-25）
f f f f
xu 2 y
其中 r 2 = ( ) + ( u )2 （2-26）
f f
上述方程中 k1 和 k2 为径向畸变系数， p1 和 p2 为切向畸变系数，该模型没有考虑高阶
项的畸变系数，畸变系数为摄像机内部参数的一部分。
2.2.3 车载摄像机外参数标定
结合实际的车载摄像机应用，本研究忽略摄像机镜头的畸变，与激光雷达数据融
合后其位置误差对于车载应用可以满足。同时，忽略摄像机镜头畸变可以提高系统的
实时性，考虑镜头畸变的摄像机模型比理想的摄像机模型复杂，物点和像点之间的转
换计算量会大大增加。根据上述的摄像机模型可以把摄像机参数分为内部参数和外部
参数，其中内部参数为 f x , f y , u0 , v0 （不考虑摄像机镜头畸变系数的情况），外部参数
为 Rc 和 Tc ，实际上 Rc 由偏航角 γ 、俯仰角 φ 、翻滚角ψ ，其表达式如下：
⎡ cosψ cos γ sinψ cos γ − sin γ ⎤
⎢
Rc = ⎢ − sinψ cos φ + cosψ sin γ cos φ cos γ sin φ ⎥⎥ （2-27）
cosψ cos φ + sinψ sin γ sin φ
⎢⎣ sinψ sin φ + cosψ sin γ cos φ − cosψ sin φ + sinψ sin γ cos φ cos γ cos φ ⎥⎦
26
摄像机的内部参数可以通过各种摄像机标定工具箱完成，外部参数通过摄像机模
型建立约束方程求解。通过提取多个标定物的特征点来求解出约束方程的外部参数，
在激光雷达坐标系中，扫描到的特征点为 Pln ( xln , yln , 0) ，在图像像素坐标系中，提取
到图像特征点为 pn (un , vn ) ，其中 n 为标定物的特征点个数，利用这些特征点序列即可
建立多个约束方程，特征点尽可能的均匀分布在图像分辨率范围内的各个位置，可以
利用线性最小二乘法求出其外部参数的最优解。
2.3 激光雷达与机器视觉数据融合
2.3.1 空间上数据融合
摄像机的外部参数通过约束方程求解后，激光雷达、摄像机、图像和车体坐标系
的相对关系完全确定，因此激光雷达扫描点可以通过摄像机模型投影至图像像素坐标
系上，其像素级数据融合由下面方程完成：
(u, v,1)T = K ( Rc ( xv , yv , zv )T + Tc ) （2-28）
⎡ fx 0 u0 ⎤
其中内部参数矩阵 K = ⎢⎢ 0 fy v0 ⎥⎥ （2-29）
⎢⎣ 0 0 1 ⎥⎦
通过（2-28）完成空间上的数据融合，其数据融合第一个目的为了把激光雷达坐
标系、摄像机坐标系、图像像素坐标系和车体坐标系统一起来，坐标系的建立和统一
有利于环境感知传感器对环境和障碍物具体距离和方位的感知，并且摄像机外部参数
的标定可以实现逆透视投影变换，为智能车辆视觉导航提供重要参数；另一个目的为
了把激光雷达扫描点投影至图像上，图像坐标系上形成动态的感兴趣区域 ROI，有利
于缩小对前方车辆、行人或其他障碍物识别与跟踪的搜索区域，从而减少系统处理时
间，提高系统实时性，同时结合激光雷达与摄像机各自的感知特点，可以增强系统的
鲁棒性，有效的降低识别的虚警率和提高准确率。
2.3.2 时间上数据融合
传感器在时间上的数据融合即是传感器数据在时间上的同步，由于不同传感器的
采样频率不尽相同，在相关的三维地图模型建立研究中，通过 GPS 授时完成时间的同
步，给不同的传感器授予不同的 GPS 时间，将时间变量作为一个参数处理，该方法可
27
以获得高精度的融合结果，但实时性受到一定的限制。
本研究为了实时性的需求，并没有采用 GPS 授时的方式，取而代之采用了线程同
步的方式将激光雷达数据和摄像机数据进行时间上的同步。创建激光雷达数据接收线
程和摄像机数据接收线程，每次采集当前图像时获取激光雷达当前帧的数据。
2.4 实验及结果分析
系统采用的环境感知传感器包括：二维激光雷达 LMS211，最高的传输速度为
500kbps （通过 RS422 协议），通过 MOXA 公司的 NPort 系列实现串口转网络的通讯，
扫描模式选用 40 ∼ 140 ，其最大的测量距离为 81.92 米，测量距离分辨率为 10 毫米；
摄像机采用普通的 1394 接口数字摄像机，分辨率根据实际需求采用 780×580，实验
平台如图 2.7 所示。
图 2.7 数据融合实验平台
根据前面的理论分析和模型的建立，分别进行激光雷达外部参数的标定，摄像机
内部参数的标定，摄像机外部参数的标定，通过逆透视投影图和距离测量等分析方法
对摄像机的内外参数的标定结果进行分析和评价，最后进行激光雷达与机器视觉的数
据融合来分析坐标系统一后的数据在空间上和时间上的准确性。为了较好地完成标定
任务，需要将实验车辆驾驶至平坦的场地进行标定实验。
2.4.1 激光雷达外部参数标定实验
该实验需要的器材有：
（1）等腰直角三角标定板，直角边长为 1100mm；
（2）INNALABS AHRS 捷联惯导传感器；
（3）车上安装的 OCTANS 系统；
28
（4）二维激光雷达 LMS211；
（5）笔记本电脑。
车载激光雷达的安装高度固定不变，将 INNALABS AHRS 捷联惯导传感器与激
光雷达激光发射平面保持平行固定安放，得出激光雷达的姿态角，再与车载 OCTANS
系统的车体姿态角比较获得两者的相对姿态角，并调节激光雷达安装机构使两者的姿
态角差值趋于 0 ，完成姿态角的粗调，最后利用等腰直角三角标定板的方法完成安装
高度的标定和俯仰角的修正，标定板具体放置位置如图 2.8 所示，激光雷达测量等腰
直角三角标定板数据如表 2.1 所示。
C C C
D F D F D F
A B A B
A B
(a) 第21帧 (b) 第86帧 (c) 第141帧
C C
D F D F
A B A B
(d) 第262帧 (e) 第396帧

图 2.8 激光雷达外部参数标定
表 2.1 激光雷达外部参数标定实验数据
序号 ρlD (mm) θlD ( ) ρlF (mm) θlF ( ) DF (mm)
1 4170 115 4120 107 580.4282

2 4060 106.5 4080 98 603.5727
3 3980 96.5 4020 88 594.2084
4 4170 87.5 4260 79.5 594.8613
5 4360 78 4490 70.5 593.1759
根据表 2.1 所示的实验数据，利用激光雷达扫描几何模型可以求解出激光雷达的

安装高度 H = 522.3315mm 和俯仰角 α = 0.2186
29
2.4.2 摄像机内部参数标定实验
（1）1394 接口摄像机和 8mm 镜头；
（2）普通笔记本电脑；
（3）标定板，如图 2.9 所示。
标定板参数：
（1）标定板的长和宽为：800mm×800mm
（2）标定点行列数为：7 行×7 列
（3）标定圆点半径为：25mm
（4）标定圆点圆心之间的距离为：100mm
（5）黑色边框宽度为：25mm
（6）黑色边框外边缘距坐标原点距离为：400mm
（7）黑色三角标志两个角点坐标为：（-400,-300），（-300,-400）。
y
图 2.9 标定板
将标定板放至在车辆前方且在摄像机的视野范围内，放置距离尽量靠近摄像机，
使标定板在摄像机中的成像清晰，尽量让标定板占据整个图片的三分之一面积左右，
从而减少特征点圆心提取的误差，能够提高标定精度。通过多次变换标定板的姿态和
位置，连续采集多帧图像，采集的图像如图 2.10 所示。
30
（a）（b）（c）（d）（e）
（f）（g）（h）（i）（j）

图 2.10 标定采集图
在图 2.10 中，这 10 幅图像分别为标定板的不同姿态，但在放置标定板过程中需

要注意标定板的摆放姿态，通过调整标定板姿态将其黑色缺口调整至标定板左上方，
以方便标定工具箱对标定板的识别，最后计算出摄像机的内部参数为：
焦距（单位：m）
f = 0.0087285 （2-30）
感光元件尺寸（单位：m）
[ dx, dy ] = ⎡⎣8.3315 ×10−6 ,8.3 ×10−6 ⎤⎦ （2-31）
主点（单位：pixel）
[u0 , v0 ] = [371.627, 253.009] （2-32）
若不更换摄像机感光传感器或镜头，摄像机内部参数只需一次标定，其内部参数
固定不变，可以减少每次实验的工作量，标定后的摄像机内部参数将作为摄像机外部
参数标定的已知量。
2.4.3 摄像机外部参数标定实验
（1）1394 接口摄像机；
（2）二维激光雷达 LMS211；
（3）笔记本电脑；
（4）标定箱。
同样将标定箱放在车辆前方且在摄像机的视野范围和激光雷达扫面范围内，实验
31
过程中将标定箱放置在摄像机视野范围的不同位置，让标定箱的棱角在摄像机中的成
像清晰，同时激光雷达对标定箱的扫描点也清晰。通过多次改变标定箱的远近和方位，
其位置尽量在摄像机视野范围的各个位置均匀分布，其特征点提取的实验情况如图
2.11 所示，从图 2.11 提取的特征点数据如表 2.2 所示。
（a）第 0 帧（b）第 178 帧
（c）第 299 帧（d）第 593 帧
（e）第 713 帧（f）第 1070 帧

图 2.11 特征点提取
表 2.2 标定箱特征点提取数据
车体坐标（mm）图像坐标（Pixel）
序号
x y z u （row） v （col）
1 -1187.8226 2798.3348 0 101 537
2 -735.4426 2949.6990 0 192 530
3 -1781.0887 4639.8947 0 96 439
4 -1286.3307 4800.6514 0 166 436
5 -427.9347 4891.3160 0 270 435
6 86.9130 4979.2415 0 337 432
7 -415.0191 2353.6905 0 226 571
8 86.5508 2478.4893 0 322 565
9 804.9272 3004.0293 0 450 529
10 1305.6246 2932.4809 0 537 534
11 1490.7977 5563.7328 0 512 417
12 1993.9774 5478.4080 0 574 419
32
根据表 2.2 的实验数据和前面章节所讲述的理论、模型，最后计算出摄像机的外

部参数如下所示。
旋转向量（单位：rad）
：
[ Rx , Ry , Rz ]T = [1.6816, 0.0078, -0.0036]T （2-33）
旋转矩阵：
⎡ 0.9999 0.0073 0.0023 ⎤
Rc = ⎢⎢ 0.0030 -0.1106 -0.9939 ⎥⎥ （2-34）
⎢⎣ -0.0070 0.9938 -0.1106 ⎥⎦
平移向量（单位：mm）：
[Tx , Ty , Tz ]T = [-349.2100,1940.4955,3293.4404]T （2-35）
若摄像机安装固定不变，其外部参数只需标定一次即可，当摄像机的安装姿态和
位置需要调整时，需要对摄像机的外部参数进行重新标定。为了验证其参数标定的准
确性和可行性，下面将通过逆透视投影变换图和物体距离在图片上的测量来验证标定
的准确性，如图 2.12 所示为部分帧图像的逆透视投影变换图。
（a）第 500 帧（b）第 1500 帧
（c）第 2297 帧（d）第 7661 帧

图 2.12 逆透视投影变换图
通过图 2.12 可以看到利用标定后摄像机内外参数进行逆透视投影变换的效果，透

视变换图可以很好还原路面俯视图的真实路况，其路基和车道线在逆透视投影变换图
中基本平行，而且其方向为车辆的前进方向。另外，变换将图像坐标转换成世界坐标
表示，通过对道路进行图像处理和图像理解，即可为智能车辆的视觉导航提供准确的
33
航向信息，上述各帧图像的逆透视投影变换通过设置不同的横向和纵向距离获得，其
横向距离从-5000mm 至 5000mm，纵向距离从 2500mm 至 40000mm。在实际应用中可
根据不同的预警距离进行区域变换以符合系统要求和提高处理速度。
下面对不同位置的已知宽度障碍物进行特征点的测量和宽度的测量，对比其测量
值和真实值的误差定量分析内外参数标定的准确性和可行性。如图 2.13 所示为部分测
量点的实验图片，实验将固定宽度的障碍物（障碍物的宽度为 800mm）从不同方位由
近至远地放置，在图像中抽取其边缘点以测量障碍物宽度，通过测量值与真实值的对
比分析标定参数的准确性，对比数据如表 2.3 所示。
（a）（b）（c）

图 2.13 测量点视图
表 2.3 障碍物测量宽度与真实值
图像坐标（Pixel）计算值（mm）
测试点宽度（mm）误差（mm）
u v x y
1-1 133 498 -1200.3376 3412.8326
798.0977 1.9023
1-2 258 498 -402.3143 3423.7343
2-1 297 554 -82.5833 2524.8463
789.6424 10.3576
2-2 445 558 734.0631 2479.8880
3-1 563 546 1412.2272 2658.0387
809.0135 9.0135
3-2 711 574 2130.5787 2285.9177
4-1 202 384 -1280.0599 6507.1964
792.0601 7.9399
4-2 287 384 -488.1102 6520.4254
5-1 353 405 146.8410 5762.6202
791.0996 8.9004
5-2 445 408 993.0728 5674.9952
6-1 581 419 2026.8713 5342.8536
791.5653 8.4347
6-2 680 422 2814.5344 5264.3521
7-1 199 318 -1916.2580 10058.6228
812.8012 12.8012
7-2 261 320 -1113.8200 9929.2434
8-1 421 311 925.4359 10652.9127
835.7811 35.7811
8-2 483 310 1755.5108 10750.4104
9-1 536 372 1913.5776 7061.8968
778.4375 21.5625
9-2 615 372 2691.9000 7075.2806
34
10-1 216 276 -2321.3344 14063.9452

839.3215 39.3215
10-2 267 275 -1494.6660 14209.1347
11-1 430 277 1206.6894 14025.4082
847.5124 47.5124
11-2 480 276 2041.8878 14169.3558
12-1 581 292 3376.7624 12407.8588
841.2139 41.2139
12-2 632 290 4188.1060 12630.0354
13-1 253 245 -2303.4883 19010.3413
902.4059 102.4059
13-2 295 244 -1431.4942 19242.6400
14-1 435 242 1591.5805 19757.9595
872.6935 71.6935
14-2 472 244 2364.9473 19353.6109
15-1 581 256 4281.0602 17140.7354
874.2981 74.2981
15-2 627 258 5097.4191 16827.7575
从表 2.3 可以看到，15 个不同位置和远近的标定板宽度测量值与真实值之间的对

比，从数据可以看到测量误差值随着摆放距离的增大而增大，没有考虑摄像机镜头的
畸变系数和提取障碍物边界点像素时的误差是产生测量误差的主要因素。结合智能车
辆导航车辆预瞄距离的大小，该误差对车辆行驶来说能够满足系统的使用需求。
2.4.4 基于激光雷达与机器视觉的数据融合实验
根据上述实验求得的激光雷达与摄像机参数，可以通过激光雷达与摄像机的坐标
转换模型，将激光雷达数据与摄像机数据统一在同一坐标系上，并将激光雷达扫描点
投影至图像上，有利于激光雷达与图像数据在同一坐标系上的处理和分析，也是激光
雷达数据成为车辆分类器的第一级级联分类基础。
1. 1394 接口摄像机；
2. 二维激光雷达 LMS211；
3. 普通笔记本电脑；
如图 2.14~2.21 所示为部分白天和夜间的数据融合实验，实验环境选取了繁忙的
城市环境，其中障碍物包括机动车、非机动车、行人、护栏、建筑物等，车辆行驶速
度为 0~60km/h，该融合实验为车载实时处理。白天光照条件良好，摄像机曝光时间短
图像成像清晰，激光雷达障碍物数据点能够准确地投影至图像相对应的障碍物上；夜
间光照条件较差，摄像机曝光时间长图像成像模糊，在车辆高速行驶时，数据融合效
果较白天差，有一些滞后现象，如图 2.19 所示。从各图中可以看到激光雷达数据在图
像中的投影与图像上的障碍物能够很好的统一在同一个坐标系上。
35
图 2.14 白天实验图片 A
图 2.15 白天实验图片 B
图 2.16 白天实验图片 C
图 2.17 白天实验图片 D
36
图 2.18 夜间实验图片 A
图 2.19 夜间实验图片 B
图 2.20 夜间实验图片 C
图 2.21 夜间实验图片 D
37
2.5 本章小结
本章提出基于激光雷达几何扫描模型的激光雷达外参数标定方法，系统地建立了
车载环境感知坐标系的完整模型，该模型由于加入惯性导航系统，可以完成环境感知
坐标系的自标定问题，但同时存在系统结构复杂，在一般结构化的平坦路面中，为了
满足实时性的使用需求，对该模型进行简化，并根据该简化模型完成后续工作。根据
针孔摄像机模型，并结合车辆行驶的车载摄像机几何关系，利用激光雷达能够快速获
取障碍物点距离信息的特点完成车载摄像机的外部参数标定。激光雷达与摄像机数据
通过简化的系统坐标转换模型统一至车辆行驶环境下的同一坐标系实现数据融合，逆
透视投影变换图和障碍物宽度测量实验分析标定后的测量误差验证其准确性和可行
性，最后进行了激光雷达与摄像机数据融合的实车实验，实验结果满足实时检测和位
置确定的需求。
38
3 基于激光雷达与机器视觉的前方车辆检测
在智能车辆城市环境感知研究方向中，对路面车辆的检测和跟踪是其中的重要研
究内容，其检测需要有良好的实时性、鲁棒性和准确性。目前大部分对路面车辆的检
测与跟踪都是基于单目视觉传感器，单目视觉在光照条件较好，行驶环境相对简单的
情况下能够很好完成检测与跟踪任务，而在复杂的城市环境或恶劣天气环境中其适应
性和准确率都会降低。本章采用二维激光雷达与机器视觉相融合的方法来完成复杂城
市环境的车辆检测，二维激光雷达能够快速地获取扫描平面中的距离信息，并且可以
获得障碍物在扫描平面中的外轮廓，同时不受光照条件的影响，但对障碍物的纹理信
息特征无法获取，机器视觉则能够提供更为丰富的平面信息，这两种环境感知传感器
可以很好的实现功能上互补，通过上一章的研究工作建立激光雷达、摄像机、图像、
车体之间的坐标转换模型，将激光雷达数据与图像像素数据统一至同一坐标系中进行
检测处理，很好地解决两者的数据奇异性，因此本章主要对复杂城市环境下车辆检测
与跟踪进行展开研究。
本章研究首先对数据聚类的概念和方法进行简要的叙述，并结合二维激光雷达的
数据特点选取合适的聚类方法，并提出应用于二维激光雷达的改进快速 DBSCAN 算
法，对聚类后的激光雷达数据进行形状匹配，完成车辆检测的假设产生，通过 Haar-like
特征、AdaBoost 算法和 Cascade 分类器完成车辆检测的假设验证，然后利用卡尔曼滤
波器实现车辆属性参数的预估跟踪，最后通过不同环境的实车实验验证算法。
3.1 前方车辆检测跟踪系统结构
城市道路上的车辆检测跟踪系统主要可分为数据融合模块、激光雷达模块、分类
器训练模块、视觉模块、跟踪与输出模块，上一章讲述了数据融合模块中传感器之间
的坐标系模型转换过程和标定问题，解决了传感器之间的同步问题，本章将按照图 3.1
系统结构图所示对问题进行展开讨论研究。
39
图 3.1 车辆检测跟踪系统结构图
（1）数据融合模块，在上一章中根据各传感器之间的坐标转换模型实现各传感
器数据之间的在空间上的统一，完成传感器的标定问题和解决了传感器之间的时间同
步问题；
（2）激光雷达模块，该传感器具有快速准确的距离测量功能，可以对障碍物点
进行快速聚类分割和目标轮廓位置提取，从而作为目标检测级联分类器的第一个节
点；
（3）分类器训练模块，包括训练数据采集（车辆样本库的建立）
、特征提取和分
类器训练，训练数据包括正样本和负样本，其中正样本在采集图片中通过手工标定方
法得到，负样本可以在不包含目标的相关背景图片样本中随机抽取或者利用已经完成
学习的分类器通过 Bootstrapping 的方法得到，然后通过正样本和负样本的特征提取与
遍历统计计算，最终得到统计后的特征分类器；
（4）视觉模块，利用图像丰富的信息与激光雷达提取的目标位置产生感兴趣区
域，形成候选目标假设校验子窗口，在子窗口中运用学习后的分类器进行金字塔式的
穷尽搜索；
（5）跟踪与输出模块，对目标的位置参数进行跟踪与预估，为下一帧处理提供
更多的参数信息，缩短检测时间和增加检测的稳定性，并且通过输出模块将跟踪后的
目标参数最终传输至 CAN 总线网络中。
40
3.2 基于聚类算法的激光雷达数据处理
3.2.1 聚类分析概念及主要方法
聚类分析是数据挖掘领域的一个重要研究方向，在模式识别、图像处理等领域均
有广泛的应用，在处理大规模数据集中发挥着重要作用，聚类分析的原则是把相似性
大的样本聚集为若干类，使簇内相似度尽可能大，簇间相似度尽可能小，以揭示这些
数据分布的真实情况。常用的聚类方法有：划分聚类方法，层次聚类方法，基于密度
的聚类方法，基于网格的聚类方法，基于模型的聚类方法。但任何聚类算法都对数据
集本身有一定的预先假设，如果数据集本身的分布并不符合预先的假设，则算法的结
果将毫无意义[105]。通常需要根据聚类的形状，数据输入顺序是否敏感，适用数据库
的大小或者算法效率来选择合适的聚类算法。
由于数据类型和聚类的目的不同，下面先对各种聚类方法进行简要的介绍：
（1）划分方法（Partitioning Method），给定 n 个对象或元素的数据集，利用划分
方法将数据集划分成 k 个子集，每个子集表示一个聚类，且有 k ≤ n ，同时需要满足每
个组至少包含一个对象，每一个对象必须属于且只属于一个组的原则。其聚类过程首
先创建一个初始划分，然后利用迭代的方法来改变划分类别集合，使同一类别的数据
集合差别最小，而不同类别的数据集合之间差别最大。因此为了获得基于划分聚类的
全局最优结果就需要穷举所有可能的对象划分，常用的启发方法如：k-means 算法，
该算法中的每一个聚类均用相应聚类中对象的均值来表示；k-medoids 算法，该算法
中的每一个聚类均用相应聚类中离聚类中心最近的对象来表示。这些启发聚类方法在
分析中小规模数据集以发现圆形或球状聚类时工作的很好，但为了使划分算法能够分
析处理大规模数据集或复杂数据类型，就需要对其进行扩展。
（2）层次的方法（Hierarchical Method），对给定的数据集进行层次的分解，可以
分为凝聚的方法和分裂的方法。其中凝聚的方法也称为自底向上的方法，一开始将每
个对象作为单独的一个组，然后相继地合并相近地对象或组，直到所有的组合并为一
个或者达到一个中止条件；分裂的方法也称为自顶向下的方法，一开始将所有的对象
置于一个聚类中，每次迭代中，一个类被分裂为更小的类，直到最终每个数据对象在
单独的被分至一个类或者达到一个中止条件。层次方法存在一定的缺陷，如在进行数
据集分解或合并后，便无法回溯其过程，也使得无法纠正自己的错误决策。往往在实
际使用中会将循环再定位与层次方法结合起来更有效，其中有一些基于组合的方法，
41
如 BIRCH 和 CURE 等。
（3）基于密度的方法（Density-based Method），其主要思想是对给定类中的每个
数据点，在一个给定的邻域范围内，满足某阈值的数据点数目，并通过不断扩展形成
一个聚类。该方法具有消除数据噪声的功能，另外还可以进行任意形状的聚类。
DBSCAN （Density-Based Spatial Clustering of Application with Noise）是一种具
有代表性的基于密度的方法，它根据一个密度阈值来控制类的增长。后面章节将会详
细介绍。
（4）基于网格的方法（Grid-based Method）
，基于网格的方法将对象空间划分为
有限数目的单元以形成网格结构，所有聚类操作均是在这一网格结构上进行的。该方
法主要优点是处理时间短、速度快，与数据对象个数无关，只与划分对象空间的网格
数相关。STING 就是一个典型的基于网格的方法。
（5）基于模型的方法（Model-based Method），基于模型方法就是为每个聚类假
定一个模型，然后寻找数据对给定模型的最佳拟合，一个基于模型的算法可能通过构
建反映数据点空间分布的密度函数来定位聚类。它基于标准统计方法自动确定聚类个
数，因此该方法可以产生很鲁棒的聚类方法。
在实际应用中，需要结合聚类数据的特点选择聚类算法，每一种聚类算法都有其
优缺点，可以通过改进或聚类方法结合来弥补其缺点。
3.2.2 激光雷达数据特点分析
在二维激光雷达的扫描平面中，扫描点 P 采用极坐标方式可以表示为 P ( ρl , θl ) ，
由扫描距离 ρl 和扫描角度 θl 唯一确定 P 的位置，如图 2.4（a）所示其中激光雷达的扫
描角范围为 40 ∼ 140 。
对激光雷达数据点进行聚类分析，需要对激光雷达的数据特点进行分析，下面针
对数据特点分析需要具有什么功能的数据聚类方法，其归纳如下：
（1）激光雷达数据为二维数据，每个角度分辨率角度上只有一个扫描点，不会
产生重叠区域，而且扫描点顺序排列，可以根据该数据特点实现数据聚类加速；
（2）激光雷达的扫描点根据行驶环境的变化而变化，而且聚类的数目不确定，
需要根据实际行驶环境情况进行数据聚类，因此需要的聚类方法可以进行任意形状的
聚类，并且对聚类数目不敏感；
（3）由于激光雷达扫描范围固定不变，当设置完角分辨率后，扫描点数目固定
42
不变，其数据量相对不大，不需要使用增量式的数据聚类方法；
（4）激光雷达存在较多的噪声点和零散点，需要对这些点进行去噪声和精简处
理，需要有噪声处理能力的聚类方法，另外在聚类方法使用前将障碍物距离大于激光
雷达扫描距离范围或由于其他因素导致没有接收到反射数据的数据点剔除；
（5）激光雷达的数据密度会随着扫描的距离变化而变化，距离激光雷达原点越
近数据密度越高，越远数据密度越低，需要聚类方法有一定的适应性。
3.2.3 相关聚类算法
本小节主要详细介绍一些常用的数据聚类方法，对比其算法的优缺点进行分析，
并结合上一节的激光雷达数据特点，对聚类算法进行选择。
（1）k-means 算法
1967 年，J.B. MacQueen 提出 k-means 算法，该算法被广泛应用于各个领域。根
据聚类结果的表达方式可分为硬 k-means 算法、模糊 k-means 算法和概率 k-means 算
法。k-means 聚类算法的基本思想：在一个有 n 个数据对象的数据集合中，选择期望
的聚类数目 k ，给定聚类的目标函数或者聚类判别准则，首先需要随机寻找 k 个数据
对象作为初始的 k 个聚类中心，然后计算剩余各个对象到每个聚类中心的距离，把对
象归类至距离本身最近的聚类中心所在的类，通过迭代的方法不断地移动聚类中心向
目标函数值减小的方向进行，使目标函数值满足平均误差准则函数 E 的要求，最终输
出聚类结果，整个算法的工作流程如图 3.2 所示，其中准则函数 E 如下述公式所示：
k
E = ∑ ∑ p − mi
2
（3-1）
i =1 p∈Ci
其中函数 E 为在数据集合中所有对象与各自聚类中心的均方差总和， p 为数据集合中

的任一对象， mi 是聚类 Ci 的均值。
k-means 算法优点是可以处理大数据集，k-means 算法是相对可伸缩的和高效率
的，因为它的计算复杂度为 O(nkt ) ，其中 n 为对象个数，k 为聚类个数，t 为迭代次数，
通常有 t ≤ n ， k ≤ n 。
k-means 算法缺点主要有：
a. 适用范围受到一定的限制，可能不适用于某些应用，如涉及有分类属性的数据，
该算法只有在聚类均值被定义的情况下才能合适使用；
b. 算法中聚类个数 k 需要被初始化，因为聚类结果依赖于 k 初始值的设定，但是
43
k 值的选定往往要经过多次实验才能找到最佳聚类个数，或者某些应用中，聚类数目
跟随环境的变化而变化，在这种情况下， k 的值无法确定；
c. 初始聚类的中心选择，k-means 算法采用随机法选取初始聚类中心，当选取初
始对象不同时，另外给定准则函数也会变化，因此聚类结果会发生变化，其参数依赖
性导致聚类结果的不稳定性，容易陷入局部最优而非全局最优聚类结果；
d. 不能处理噪音数据和孤立点；
e. 不适合用于发现具有非凸形状的类。
图 3.2 k-means 算法流程图
（2）CURE 算法
CURE（Clustering using REpresentatives）算法为层次划分方法的典型代表算法之
一，该算法将层次方法与划分方法结合起来，可以克服偏向发现相似大小和圆形形状
聚类的不足，同时也使得异常数据处理变得更加具有鲁棒性。CURE 算法选择固定数
目且有代表性的空间点来表示一个聚类，表示聚类的代表性点则是首先通过选择分布
较好的聚类对象来产生，然后根据指定的速率（收缩因子）将它们收缩或移向聚类的
中心。每个聚类包含多于一个的代表性点将有助于 CURE 方法调整好类的非圆状边
界，聚类的收缩或压缩将有助于压制异常数据，因此 CURE 算法能识别具有非圆形状
和不同大小聚类，也能鲁棒地处理异常数据。另外 CURE 算法还可以在不牺牲聚类质
量的情况下，对大型数据库处理具有很好的可扩展性。
44
CURE 算法的主要处理步骤说明如下：
a. 进行随机采样并获得集合 S ，它包含 s 个对象；
b. 将采样集合 S 划分为 p 个划分，每个划分大小为 s p ；
c. 将各划分部分聚类成 s pq 个聚类，其中 q > 1 ；
d. 通过随机采样消除异常数据，即若一个聚类增长太慢，就除去它；
e. 对部分聚类进行再聚类，落在每个新获得的聚类中的代表点，则根据收缩因子
α ，收缩或移向聚类的中心，这些点将要用于代表并描绘出聚类的边界；
f. 对聚类中的数据标记上相应聚类号。
（3）DBSCAN 算法
DBSCAN （Density Based Spatial Clustering of Applications with Noise）算法[106]
是基于密度的空间聚类算法[107][108]的典型代表，该算法的显著优点是聚类速度快，能
将具有足够高密度的区域划分为一类，且能够有效处理噪声点和快速发现任意形状的
空间聚类。
为了清楚了解基于密度的 DBSCAN 聚类方法的基本思想，以下介绍该方法思想
所包含一些概念：
a. 密度（density）：以对象集 D 中任意一个对象为圆心，以 ε 为半径的圆区域内
包含的对象数目称为该对象的密度。
b. ε -近邻：一个给定对象的 ε 半径内包含的对象集合就称为该对象的 ε -近邻，
用 Nε ( p ) 表示，定义为：
Nε ( p) = {q ∈ D dist ( p, q ) ≤ ε } （3-2）
c. 核心对象（Core Object）：若一个对象 q 的 ε -近邻至少包含最小数目 MinPts 个

对象，即 Nε (q ) ≥ MinPts ，则对象 q 就称为核心对象，如图 3.3 所示。
q 为核心对象；p 为边界对象；n 为噪声

图 3.3 核心对象、边界对象和噪声示意图
d. 边界对象（Border Object）：若一个对象 p 属于核心对象 q 的 ε -近邻，但对象 p

45
并不是核心对象，则对象 p 称为边界对象，如图 3.3 所示。

e. 直接密度可达（Directly Density Reachable, DDR）：给定一组对象集 D ，若对
象 p 在另一个对象 q 的 ε -近邻内，且 q 为核心对象，那么就说对象 p 是从对象 q 直接
密度可达的，如图 3.4 所示。
图 3.4 直接密度可达示意图
f. 密度可达（ Density Reachable ）：给定一组对象集 D ，当存在一个对象链

p1 , p2 ,… , pn ，且 p1 = q ， pn = p ，其中有 pi ∈ D (1 ≤ i ≤ n) ， pi + 1 是 pi 关于 ε 和 MinPts
直接密度可达的，则称对象 p 从对象 q 关于 ε 和 MinPts 密度可达，如图 3.5 所示。
图 3.5 密度可达示意图
：若对象集 D 中存在一个对象 o(o ∈ D) ，使得对

g. 密度相连（Density-Connected）
象 p 和 q 是从 o 关于 ε 和 MinPts 密度可达的，那么对象 p 和 q 是关于 ε 和 MinPts 密度
相连的，如图 3.6 所示。
图 3.6 密度相连示意图
h. 类（Cluster）：对象集 D 中非空集合 C 是一个类需要满足以下条件：

1. ∀p, q 若 p ∈ C ，且从 p 密度可达到 q ，则 q ∈ C ；
46
2. ∀p, q ∈ C 则 p 与 q 是密度相连的。
i. 噪声（Noise）：在对象集 D 中，对于给定的 ε 和 MinPts 存在 C1 , C2 ,… , Ck , k 个
类，不属于 C1 , C2 ,… , Ck 任何一个类而且属于对象集 D 的对象集合为噪声，如图 3.3 所
示的对象 n 即为噪声。
其中密度可达是密度相连的一个传递闭包，是非对称的，仅有核心对象是相互密
度可达，密度相连则是对称的。
基于上述概念的定义，DBSCAN 算法的中心思想是：对于某一聚类 C 中的每个对
象，在 ε -近邻内的数据对象数量必须大于某个给定值，也就是说，该对象的邻域密度
必须超过某一阈值 MinPts 。算法的聚类过程可以表述为：
a. 给定任一满足核心对象条件的数据对象 p ，数据集 D 中所有从 p 密度可达到的
数据对象 o 所组成的集合 {o o > D p } 构成了一个完整的聚类 C ，且 p ∈ C ；
b. 给定一个聚类 C 和它的任一核心对象 p ， C 等价于集合 {o o > D p } 。
为了找到一个聚类，DBSCAN 从数据对象集 D 中找到任意对象 p ，并查找 D 中
关于 ε 和 MinPts 的从 p 密度可达的所有对象，如果 p 是核心对象，即 p 的半径为 ε 的
邻域所包含的对象数不少于 MinPts ，则根据该算法可以找到一个关于参数 ε 和 MinPts
的类，如果 p 是非核心对象，即 p 的半径为 ε 的邻域中包含的对象数小于 MinPts ，则
没有对象从 p 密度可达，p 被暂时地标注为噪声对象，然后 DBSCAN 处理数据库 D 中
的下一个对象。在具体实现上主要有两个关键的步骤：建立合适的数据结构，能够体
现数据对象之间的相互关系和自身对象的属性；在建立的数据结构基础上实现聚类过
程。
DBSCAN 算法伪码如下：
C=0
for each unvisited point P in dataset D
N = getNeighbors（P, epsilon）
if（sizeof（N）< minPts）
mark P as NOISE
else
++C
mark P as visited
add P to cluster C
47
recluster（N）
通过对上述常用聚类算法的介绍，对比各种聚类算法的特点和适用环境，并且结
合激光雷达数据的特点，对聚类算法进行选取，激光雷达数据的聚类首先需要聚类算
法有发现任意形状聚类的功能，还可以有效地处理数据噪声得功能，同时由于数据集
随机变化，其数据集的聚类数目也不确定，需要聚类数目根据数据集的实际情况确定
的功能。综合上述这些特点，本章采用 DBSCAN 聚类算法进行激光雷达的数据聚类，
同时针对 DBSCAN 算法的不足之处和激光雷达的应用特点，下一小节将对其算法的
参数确定和搜索方法进行改进以更加适应激光雷达数据聚类的应用。
3.2.4 改进 DBSCAN 算法在激光雷达数据处理中的应用
DBSCAN 算法具有聚类速度快，能够有效处理噪声点和快速发现任意形状的空间
聚类，但该算法也存在一些缺点并且需要对其缺点进行改进，下面先讨论 DBSCAN
算法存在的一些问题：
（1）在聚类过程中，DBSCAN 算法找到一个核心点后，以该核心点为中心向外
扩展，若数据量庞大，随着核心点的不断增多，需要有较大的内存支持；
（2）输入参数敏感，其聚类数目与聚类半径 ε 和聚类半径中数据对象数目 MinPts
有关，需要根据实际应用经验对其参数进行确定，而其参数确定较为困难，参数的不
同可能会引起聚类的巨大差异，若参数选择不当可能会引起聚类质量下降；
（3）参数 ε 、 MinPts 是全局惟一确定，若空间聚类的密度不均匀，聚类间距离
相差很大时，聚类的质量较差。
目前针对 DBSCAN 算法存在的问题，虽然已有一些改进方法[109][110]，但由于应
用领域的不同，算法改进的方法也有所不同。而本研究则结合上述激光雷达二维数据
和 DBSCAN 算法的特点，主要对 DBSCAN 算法进行如下改进：
（1）搜索速度上的改进，当设置完角度分辨率之后，每一帧数据的数目固定不
变，单帧数据量不大且不会增大，因此内存的需求足够。在聚类过程中，大部分时间
都用在搜索操作上，使算法实时性降低，然而在激光雷达实际应用中，扫描点顺序排
列，每个角度分辨率角度上只存在一个扫描点，并不需要对数据进行遍历搜索扩展，
可以设置每个扫描点搜索角邻域 λ ，从起始点顺序进行搜索扩展，若对数据 pi 搜索密
度可达的扫描点，搜索扩展域为 [ pi − λ 2, pi + λ 2] 即可，可以大大缩小聚类搜索时间，
有效的提高数据聚类的速度；
48
图 3.7 改进 DBSCAN 算法流程图
（2）输入参数的改进，DBSCAN 算法对输入参数（聚类半径 ε ，聚类点数 MinPts ）

敏感，当数据密度相差较大和类间距离分布不均匀时，很难选取一个合适的 ε 值来进
行聚类，激光雷达数据则存在这样的问题，数据密度与扫描数据的距离呈线性变化，
距离激光雷达原点越近数据密度越高，越远数据密度越低。因此针对激光雷达这一数
据特点提出聚类半径 ε 与扫描距离相关的函数如下：
π ([ ρi / d step ] + 1)
ε improve = α θ res = α weight ([ ρi / d step ] + 1) （3-3）
180
πθ res
其中 α weight = α （3-3）
180
式中：α 为聚类半径系数，α weight 为简化聚类半径系数的权值系数， ρi 激光雷达第 i 点
的距离值，θ res 激光雷达角度分辨率，d step 聚类区域步长。该改进方法把整个激光雷达
数据区域按照不同半径大小进行划分，根据扫描点所属的区域决定聚类半径的大小。
49
在实际的行驶环境中，路面存在不同的障碍物，如行人、自行车、树木等，这些障碍
物的雷达数据量不大，因此 MinPts 选 3 适合不同障碍点聚类的需求，改进的 DBSCAN
算法流程如图 3.7 所示。
3.2.5 聚类数据形状特征匹配
通过改进的 DBSCAN 算法可以对激光雷达数据进行聚类，数据密度集中的数据

点聚为一类，其目的是根据激光雷达与机器视觉的转换模型将聚类中心投影至图像
中，最终形成车辆候选区域假设。
为了产生车辆检测的感兴趣区域，需要了解激光雷达对车辆扫描时所形成的扫描
特征进行分析，不同的障碍物在激光雷达扫描下所形成的扫描点形状存在一定的差
异，同一个障碍物在激光雷达不同方位下，其扫描点的形状也存在差异，因此首先需
要对激光雷达的各个聚类进行简单的特征匹配，确定图像中车辆候选区域的数量，减
少假设校验的时间，有效提高其校验速度，因此将激光雷达聚类数据特征匹配的结果
作为车辆级联分类器的第一级分类节点。然而要完成第一级分类器，首先需要了解车
辆在激光雷达扫描中所形成的几种扫描模型[69]，因为在实际行驶环境中，激光雷达与
车辆的不同位置关系会确定其扫描模型的大致形状，按照其相对方位进行划分，其扫
描模型分类如下，具体形状如图 3.8 所示。
（a） “L”模型（b） “I”模型（c） “inv-L”模型

图 3.8 激光雷达扫描的车辆模型
（1）L 模型，当车辆在激光雷达的右前方时，扫描点模型表现为 L 模型；

（2）I 模型，当车辆在激光雷达正前方时，扫描点模型表现为 I 模型；
（3）inv-L 模型，当车辆在激光雷达的左前方时，扫描点模型表现为 inv-L 模型。
在结构化行驶路面上，这三种车辆模型会根据激光雷达与检测车辆的相对位置关
50
系变化而变化，前方车辆在本车前方进行车道变换时，车辆的扫描模型相互转换，假
设本车在行车道行驶时，车辆从超车道切换至主车道，车辆模型从 inv-L 模型转换到
I 模型，同样本车辆的车道切换也会改变扫描模型，如本车辆从主车道切换至超车道，
准备超越前方车辆时，其扫描模型将从 I 模型转换到 L 模型。由于车辆近似为刚体，
外形特征不会发生变化，建立上述三种标准模型可以对完成 DBSCAN 聚类后的不同
类进行形状匹配，聚类后数据采用最小二乘法拟合椭圆，椭圆的外接矩形为初始的拟
合矩形，再对该矩形旋转角进行调整，使矩形与聚类数据的方差最小得到拟合矩形的
旋转角度，最终求出车辆的匹配矩形，并得到拟合矩形的宽度，根据匹配结果与车辆
固有的形状特征进行比较完成车辆级联分类器的第一级分类节点。另外在实际的数据
处理中，需要对激光雷达数据进行预处理来减少车辆行驶振动和反射率带来的影响，
其数据中常常会出现最大距离的数据，即无激光束无反馈，则需要在数据处理前先把
该数据去除，再进行激光雷达数据的聚类处理。
3.3 基于激光雷达和机器视觉的前方车辆检测
利用激光雷达对障碍物数据点实现聚类分割后，不同的障碍物类成为候选区域，
本研究通过对图片样本的统计学习生成由多个不同的弱分类特征组成的分类器，并利
用该分类器完成候选区域的检验。自从 Viola 和 Jones[111][112]提出了基于 Haar-like 型特
征的 AdaBoost 算法，首次引入“积分图”
（Integral Image）的概念，并运用至人脸检
测器的特征值计算中，使样本训练和目标检测的速度大大提高，在人脸检测实时性问
题上取得突破性的进展，同时将不同层次训练的分类器组成了最后输出的级联
（Cascade）分类器，得到了较好的识别效果。AdaBoost 算法在机器学习领域中备受
关注，基于机器学习的检测算法是车辆检测的一个热点研究方法。
3.3.1 Haar-like 特征
基于统计的模式识别理论对目标的检测和识别方法往往需要遍历搜索图像的各
个位置和尺度，从而判断图像中是否存在目标的候选区域，其运算复杂度非常的大。
因此为了提高统计和目标检测的速度，Viola 和 Jones 提出了以类似 Haar 小波的结构
来提取检测目标的特征，并且将积分图应用到特征值的计算之中。积分图的引用，只
需对图像进行一次遍历计算，就能够在固定时间里完成每个特征值的计算，这使得训
练和检测的速度得到大大的提升。 Viola 系统中用到的 Haar-like 矩形特征库由
51
Papageorgiou[113][114]提出，该特征库中包括了 4 种形式的特征，具体形式如图 3.9 所示。
（a）（b）（c）（d）

图 3.9 原始 Haar-like 特征
扩展 Haar-like 矩形特征是由 Rainer Lienhart 等人[115]提出的矩形特征是对最早提

出的 Haar-like 矩形特征进行扩展，如图 3.10 所示。其中加入了旋转 45 度角的矩形特
征，与此同时，Rainer Lienhart 等人还提出了一种针对扩展 Haar-like 矩形特征的快速
计算方法。
1 边缘特征
（a）（b）（c）（d）

2 线特征
（e）（f）（g）（h）（i）（j）（k）（l）

3 中心环绕特征
（m）（n）
4 对角特征
（o）
图 3.10 扩展 Haar-like 特征
在图 3.10 中可以观察到扩展 Haar-like 特征的第一行主要描述的是目标的边缘特

征；第二行主要描述的是目标的线状特征；第三行主要描述的是目标的中心环绕特征；
第四行主要描述的是目标的对角特征。这些特征模板可以在子窗口中以任意位置和任
意尺寸放置，而且需要找出所有位置和所有尺寸的特征，再进行弱分类器的训练。若
对每个特征中白色区域和黑色区域的所有象素灰度值求和的话，则特征值的提取将会
52
带来巨大的计算量，无疑降低了训练和检测的速度，而利用积分图则只需对所有样本
计算一遍。
基于倾斜角为 0 的矩形特征积分图计算：
（a）点(x, y)积分图计算（b）区域 D 积分图计算

图 3.11 基于倾斜角为 0 的矩形特征积分图计算
如图 3.11（a）所示，定义图像的左上角为 (0, 0) ，设 I ( x, y ) 为图像中点 ( x, y ) 像素

灰度值， SAT ( x, y ) 为点 (0, 0) 至点 ( x, y ) 的所有像素灰度值之和，即其表达式如下：
SAT ( x, y ) = ∑
x′≤ x , y ′≤ y
I ( x′, y′) （3-4）
在实际应用中， SAT ( x, y ) 采用递推的表达方法，递推表达式如下：

SAT ( x, y ) = SAT ( x, y − 1) + SAT ( x − 1, y ) + I ( x, y ) − SAT ( x − 1, y − 1) （3-5）
其中上式满足 SAT (−1, y ) = SAT ( x, −1) = 0 ，在计算的时候只需要按行或列遍历整张图

像一次，即可得到图像的积分图。
如图 3.11（b）所示，设特征 D = ( x, y, w, h, 0 ) ，点 1 为 ( x, y ) ， w 为点 2 与点 1 或
点 4 与点 3 的横坐标差值，即矩形特征的宽度， h 为点 3 与点 1 或点 4 与点 2 的纵坐
标差值，即矩形特征的高度。则矩形特征 D 的特征值如下式所示：
RecSum( D) = SAT ( x − 1, y − 1) + SAT ( x + w − 1, y + h − 1)
（3-6）
− SAT ( x − 1, y + h − 1) − SAT ( x + w − 1, y − 1)
另外也可通过点 1、2、3、4 的积分图来表示矩形特征 D 的特征值，表示为：

ReSum( D) = SAT ( x4 , y4 ) + SAT ( x1 , y1 ) − SAT ( x2 , y2 ) − SAT ( x3 , y3 ) （3-7）
该特征值的计算只需要 4 次查找积分图即可得到，
无论矩形特征 D 的大小为多少，
其计算量和运算时间均不变。
基于倾斜角为 45 的矩形特征积分图计算：
53
（a）点(x, y)积分图计算（b）区域 D 积分图计算

图 3.12 基于倾斜角为 45 的矩形特征积分图计算
如图 3.12 所示为基于倾斜角为 45 的矩形特征积分图，点 ( x, y ) 的积分图式如下：

RSAT ( x, y ) = ∑ I ( x′, y′)
x′≤ x , x′≤ x − y − y ′
（3-8）
RSAT ( x, y ) 的递推表达式如下：
RSAT ( x, y ) = RSAT ( x − 1, y − 1) + RSAT ( x − 1, y ) + I ( x, y ) − RSAT ( x − 2, y − 1) （3-9）
其中上式满足 RSAT (−1, y ) = RSAT (−2, y ) = RSAT ( x, −1) = 0 。

同样矩形特征 D 的特征值可通过查找点 1、2、3、4 的积分图完成，表达式如下：
ReSum( D) = RSAT ( x4 , y4 ) + RSAT ( x1 , y1 ) − RSAT ( x2 , y2 ) − RSAT ( x3 , y3 ) （3-10）
3.3.2 AdaBoost 算法
AdaBoost 算法通过重新分配样本权重的方法，再将多个弱分类器组成一个强分
类器。给定一个样本集合 {( x1 , y1 ), ( x2 , y2 ),… , ( xn , yn )} ，其中 xi 为输入样本向量， yi 为
输出结果，取 yi ∈ (0,1) ，其中 yi = 0 为负样本（非检测目标）， yi = 1 为正样本（检测
目标）。在程序初始化时，先对所有训练样本赋予相等的权重，权重表明它被某个分
量分类器选入训练集的概率，如果某个样本点已经被准确地分类，那么在构造下一个
训练集中，它被选中的概率就被降低；相反如果某个样本点没有被正确分类，那么它
的权重就得到提高。通过这样的方式，AdaBoost 方法能够聚焦于那些较困难（更富信
息）的样本上。在具体实现上，最初每个样本的权重都相等，对于第 k 次迭代操作，
就根据这些权重来选取样本，进而训练分类器 Ck ，然后根据这个分类器来提高被它错
分的那些样本的权重，并降低可以被正确分类的样本权重，之后权重更新过的样本集
被用来训练下一个分类器 Ck +1 。就按这种方式对训练样本集合进行 T 轮训练，随着级
次的增加，弱分类器数量也随之增加，用于在制定的正确检测率下达到期望的正确率。
假设一个弱分类器为 h j ( x) ，包含一个特征 f j ，判决阈值 θ j 和决定不等号方向的
p j ，其表示如下：
54
⎧1, if p j f j ( x) < p jθ j
h j ( x) = ⎨ （3-11）
⎩0, otherwise
其中 x 为归一化样本的子窗口。
AdaBoost 算法具体描述如下：
（1）给定训练样本集合 {( x1 , y1 ), ( x2 , y2 ),… , ( xn , yn )} ，其中 yi = 0 对应负样本，yi = 1
对应正样本。
（2）权重初始化如下：
⎧ 1
⎪⎪ 2m , yi = 0
ω1, j ( x) = ⎨ （3-12）
⎪ 1, yi = 1
⎪⎩ 2l
式中 m 为负样本数量， l 为正样本数量。
（3）for t = 1, 2,… , T , 进行循环计算：
a. 归一化权重；
ωt ,i
ωt ,i ← n
（3-13）
∑ω
j =1
t, j
b. 对每个特征 j ，训练分类器 h j 。计算对应特征的弱分类器权重 ωt 的错误率 ε j ；

ε j = ∑ ωi h j ( xi ) − yi （3-14）
c. 选出 ε t 最小的分类器 ht ；
ε t = min(∑ ωi h j ( xi ) − yi ) （3-15）
d. 更新样本权重；
ωt +1,i = ωt ,i β t1−e i
（3-16）
εt
式中 β t = ，分类正确时 ei = 0 ；分类错误时 ei = 1 。
1− εt
（4）最终得到一个强分类器；
⎧ T
1 T
⎪1,
h( x ) = ⎨
∑
t =1
α t ht ( x) ≥ ∑ α t
2 t =1 （3-17）
⎪0,
⎩ otherwise
55
1
其中 α t = log 。
βt
3.3.3 级联分类器
利用 AdaBoost 算法对样本集进行训练后得到一个包含很多弱分类器的集成分类
器，若采用对所有弱分类器进行计算，其计算速度会变得很慢，因此为了加快目标检
测的速度，目标检测器采用了级联分类器结构，该结构将一系列单级分类器级联起来，
当被判断为非检测目标时，该目标窗口立即被排除。每级分类器在进行训练的时候都
会被设成较高的检测率和中等的虚警率，将这些分类器级联起来后可以达到极低的虚
警率和较高的检测率。级联分类器的结构如图 3.13 所示：
图 3.13 级联分类器结构
通过级联分类器结构可以得出级联分类器的最终检测率为：
k
D = ∏ di （3-18）
i =1
其中 di 为每级分类器的检测率， k 为级联分类器的级数。
级联分类器的最终虚警率为：
k
F = ∏ fi （3-19）
i =1
其中 fi 为每级分类器的虚警率，同样 k 为级联分类器的级数。
若采用 di = 0.995 ， fi = 0.5 ， k = 10 ，那么整个级联分类器的检测率为 0.95，虚
警率为 9.76 ×10−4 ，随着级数的增大，级联分类器的检测率下降，虚警率也会下降。
（1）在目标检测的时候，目标一般不大，
级联分类器结构有两个比较重要的优点：
其他为背景图片，因此可以通过级联结构前面几级简单的分类器进行排除，大大提高
（2）在每次训练新的单级分类器时，有利于用前面训练得到的分
了后续的检测速度；
类器进行图片虚警的检测，并将这些虚警作为下一级的负样本，这样有利于进一步调
56
整分类器的阈值，从而提高分类器的精度。另外，级联分类器结构对每级分类器的形
式没有限制，可以采用 SVM 分类器或者其他分类器，只要每级分类器的训练结束后
能够满足预先指定的检测率和虚警率即可。由于 AdaBoost 算法在满足一定检测率的
前提下可以通过逐步增加弱分类器的方式，逐步降低虚警率，所以目前的实际系统一
般采用 AdaBoost 算法来训练单级分类器。
3.3.4 基于 AdaBoost 算法的前方车辆检测
基于统计学习方法的目标检测，需要采集大量的样本，而且要求样本多样化，同
时也要能够从所有样本中找到共同特征。利用机器学习的方法则可以通过计算机统计
样本特征而提取出一个优化的分类器，然后利用该分类器在图像中进行搜索从而检测
出目标。基于统计学习的方法其性能取决于机器的学习能力以及训练样本对其实际特
征值概率分布的表达能力。对目前目标检测研究现状来说，基于统计学习的检测方法
要大大强于基于先验知识的检测方法，而且近年来目标检测的研究也主要集中在基于
统计学习的方法上，如图 3.14 所示为基于统计学习的目标检测方法系统结构。
图 3.14 基于统计学习的目标检测方法系统结构
基于统计学习的目标检测方法主要包括两个模块，分类器学习和目标位置的搜
索。其中分类器学习主要包括三个模块：训练数据采集、特征提取和分类器训练。目
标位置的搜索方法有很多种，通常采用对待检测图片进行多尺度扫描，对其子窗口进
行特征提取，通过学习后的分类器检测每个搜索窗口而获得目标的具体位置。
训练数据包括正样本（Positive Sample）和负样本（Negative Sample）。正样本在
采集样本中通过手工标定的方式获得，并通过归一化处理，如图 3.15 所示为部分车辆
正样本，对采集到的样本需要进行分类，按照不同的车型，如三厢小车、两厢小车、
客车、卡车、SUV、微型客车（面包车）等类别进行样本的存放，而本文主要针对二
分类情况进行研究，训练样本库对不同车型样本进行综合，从不同的车辆成像角度、
57
不同的车辆姿态进行训练样本集建立，图 3.15 的前三行样本为本车道左方行驶的车

辆，在图像中存在一定的向右旋转角度，中间三行样本为本车道正前方行驶的车辆，
在图像中基本不存在或存在很微小的旋转角度，后三行样本为本车道右方行驶的车
辆，在图像中存在一定的向左旋转角度。为了使共同特征具有统计特性，需要将车辆
样本进行扩大，训练集车辆正样本采用样本左右两边各扩展归一化样本宽度的 0.25
倍，上下两边各扩展归一化样本高度的 0.2 倍，对样本的扩大有利于使车辆与背景环
境的灰度变化具有很好的统计特性。负样本可以通过采集样本中随机抽取（不能包含
检测目标）或 Bootstrapping 方法获取，如图 3.16 所示为部分负样本，Bootstrapping
方法首先通过正样本与随机抽取负样本完成第一次训练后，获得一个分类器，再通过
该分类器对图像进行检测，提取检测中产生的虚警目标，然后将虚警目标作为负样本，
再一次完成样本训练。
图 3.15 部分车辆正样本
图 3.16 部分负样本
58
特征提取的目的是将训练样本映射到某个特征空间，缩小同类的特征距离，增大
不同类间的特征距离。特征提取后可以用监督学习的方法，学习得到两类问题的分类
器，用来判断目标出现在某一位置的概率。在待测图像中，目标可能出现在图像的任
意位置，而且具有大小随机，因此在检测过程中一般采用金字塔式的穷尽搜索法进行
搜索窗口的特征计算，最终完成目标的检测，如图 3.17 所示为原始图像按照预定尺度
步长逐步缩小，直到达到预先设定的尺度或者小于模板为止。
图 3.17 目标检测的金字塔搜索方法
完成样本归一化后，可以对正负样本进行训练，其基本训练流程是通过对特征的
选择，设置训练参数，载入正负样本，穷尽搜索样本矩形特征，统计出具有统计特性
的矩形特征组成一个强分类器，其训练流程图如图 3.18（a）所示，其检测流程图如
图 3.18（b）所示，训练参数如表 3.1 所示。
（a）训练流程图（b）检测流程图
图 3.18 训练及检测流程图
59
表 3.1 训练参数
训练名称期望级数期望最小命中率期望最大虚警率特征 Boost 类别
20 0.995 0.5 所有特征 Gentle AdaBoost
车辆尾部正样本数负样本数样本宽样本高对称性
5405 10263 32 20 是
通过对车辆分类器的训练后，采用 AdaBoost 算法对前方运动车辆的检测校验，

首先根据激光雷达与摄像机相互坐标转换模型，利用改进 DBSCAN 算法对激光雷达
进行数据聚类，判断前方障碍物距离和位置，将激光雷达数据投影至图像帧，由于激
光雷达的安装高度完成标定，扫描点可以平移至车轮与地面接触的位置获得感兴趣区
域下边缘，激光雷达的左右边缘通过聚类数据点获得感兴趣区域左右边缘，按照一般
车辆车高的先验知识获得感兴趣区域上边缘，通过对各边缘的扩展得到感兴趣区域，
其候选区域的提取如图 3.19 所示。
（a）激光雷达视图（b）图像帧
图 3.19 激雷达与摄像机提取感兴趣区域
3.4 基于卡尔曼滤波的运动车辆跟踪
3.4.1 前方运动车辆信息提取
完成基于激光雷达与机器视觉的前方车辆检测后，图像与激光雷达检测到的车辆
所对应的聚类类别可以获得，利用激光雷达在距离方位测量的优势，同时结合车辆为
刚体的特性，以相应类别的车辆外轮廓尾部中心作为车辆的距离信息和跟踪点，如图
60
3.20 所示。从图中可以看到本车前方三个车道的通向行驶车辆的具体位置，由于在本
帧数据为直道上的行驶，前方车辆并没有很大的旋转量，其车辆尾部的中间点位置作
为车辆跟踪的参考点 P( xv , yv ) ，而前方车辆与本车的相对速度通过前方车辆的帧间位
置变化量与传感器的采样周期的比值获得，因此跟踪算法所需要的位置信息和速度信
息均能够由处理后的激光雷达数据获得。
图 3.20 前方运动车辆信息获取
3.4.2 卡尔曼滤波算法
卡尔曼滤波方法是 R. E. Kalman 于 1960 年首次提出[116]，该方法以最小均方误差

为估计的最佳准则，来寻求一套递推估计的算法，其基本思想是：采用信号与噪声的
状态空间模型，利用前一时刻的估计值和现在时刻的观测值来更新对状态变量的估计
从而得到估计值。由于它适合于实时处理和计算机运算，因此为现代控制理论的发展
做出了巨大的贡献，首先应用于航天领域，随后其应用延伸至其他很多领域。目前，
卡尔曼滤波方法在目标跟踪中得到广泛的应用，一方面是减少噪声的干扰，另一方面
可以利用卡尔曼滤波的预测值缩小实际测量时的搜索空间。
假设在线性时变运动系统中，离散运动状态方程和观测方程如下所示：
xk = A ⋅ xk −1 + B ⋅ uk + wk （3-20）
zk = H ⋅ xk + vk （3-21）
其中 xk 为在 k 时刻的系统状态向量， xk −1 为在 k − 1 时刻的系统状态向量， zk 为在 k 时
刻的系统状态测量向量， A 为系统从 k − 1 时刻到 k 时刻的状态转移矩阵， B 为系统的
61
控制矩阵（若没有控制，则该项不使用）， H 为系统的观测矩阵， uk 为应用于 k 时刻

的外部控制向量，wk 为正态分布的运动噪声向量，vk 为正态分布的测量噪声向量，而
且两种噪声互不相关，并且服从正态分布，可以表示为：
P ( w) ∼ N (0, Q ) （3-22）
P (v) ∼ N (0, R) （3-23）
其中 Q 为运动噪声的协方差矩阵， R 为测量噪声的协方差矩阵，这两个协方差矩阵可
以根据时间的变化而变化或者固定不变。对于标准的卡尔曼滤波方法，矩阵 A 、 B 、
H 、 Q 和 R 在系统初始化后就不作改变。但是通过在当前系统状态邻域中，线性化
扩展卡尔曼滤波器可以得到模拟扩展卡尔曼滤波器，在这种情况下，矩阵 A 、B 、H 、
Q 和 R 在每一步中都会被更新。
下面简单介绍卡尔曼滤波的整个过程，首先定义 xˆk− 是时刻 k 的先验状态估计， xˆk
是时刻 k 中给定测量值 zk 的后验状态估计，则先验估计误差如下：
ek− ≡ xk − xˆk− （3-24）
而后验估计误差如下：
ek ≡ xk − xˆk （3-25）
通过先验和后验估计误差可以得到先验估计误差协方差和后验估计误差协方差如下：
Pk− = E ⎡⎣ ek− , ek− T ⎤⎦ （3-26）
Pk = E ⎡⎣ek , ek T ⎤⎦ （3-27）
另外，后验状态估计 xˆk 可以通过先验状态估计 xˆk− 和实际测量值 zk 得到，其表达式

如下：
xˆk = xˆk− + K k ⋅ ( zk − H ⋅ xˆk− ) （3-28）
其中 K k 为卡尔曼增益矩阵， ( zk − H ⋅ xˆk− ) 为测量残差，表示预测值和测量值的差别，

残差为零则意味着预测值和实际测量完全相同， K k 作为最小化后验误差协方差的增
益可以通过先验估计误差协方差 Pk− 、测量噪声的协方差矩阵 R 和系统观测矩阵 H 表
示：
K k = Pk− ⋅ H T ⋅ ( H ⋅ Pk− ⋅ H T + R) −1 （3-29）
由上式可知当测量误差协方差 R → 0 时， K k → H −1 使得残差的权值增大，即真
62
实的测量值 zk 被认为更加可靠，而预测值被认为没有那么可靠；另一方面，当先验估
计误差协方差 Pk− → 0 时，K k → 0 使得残差的权值变小，测量值被认为没有那么可靠，
而预测值被认为可靠。
卡尔曼滤波器实际上是由两部分组成：时间更新方程和测量更新方程。时间更新
方程负责利用当前状态和误差协方差估计得到下一时刻的先验估计，即预测方程；测
量更新方程负责反馈，利用新的测量值和先验估计得到改进的后验状态估计，即修正
方程。
其时间更新方程如下：
xˆk− = A ⋅ xˆk −1 + B ⋅ uk −1 + wk （3-30）
Pk− = A ⋅ Pk −1 ⋅ AT + Q （3-31）
其测量更新方程如下：
K k = Pk− ⋅ H T ⋅ ( H ⋅ Pk− ⋅ H T + R) −1 （3-32）
xˆk = xˆk− + K k ⋅ ( zk − H ⋅ xˆk− ) （3-33）
Pk = ( I − K k ⋅ H ) ⋅ Pk− （3-34）
卡尔曼滤波是一个递推的过程，当初值给定后，计算完时间更新方程和测量更新
方程后，将计算得到的后验状态估计作为下一时刻的先验状态估计，整个过程再次循
环完成整个卡尔曼滤波过程，其流程如图 3.21 所示，而在进行滤波之前，需要对测量
噪声协方差 R 和过程噪声协方差 Q 进行确定，通过离线方式调整 Q 和 R 参数可以提高
滤波器的性能。
时间更新(预测) 测量更新(修正)
(1) 先验状态估计 (1) Kalman增益
−
xˆ = A ⋅ xˆk −1 + B ⋅ uk −1 + wk
k K k = Pk− ⋅ H T ⋅ ( H ⋅ Pk− ⋅ H T + R) −1
(2) 先验估计误差协方差 (2) 计算后验状态估计
−
P = A ⋅ Pk −1 ⋅ A + Q
k
T
xˆk = xˆk− + K k ⋅ ( zk − H ⋅ xˆk− )
(3) 更新后验估计误差协方差
x̂0 P0 初始化估计 Pk = ( I − K k ⋅ H ) ⋅ Pk−
图 3.21 卡尔曼滤波流程
63
3.4.3 基于卡尔曼滤波的车辆跟踪
在数据获取过程中，由于相邻两帧的激光雷达与图像数据的时间间隔相对比较
小，因此其位置变化也相应较小。在城市环境中行驶，车辆的行驶速度也相对较小，
车辆间的相对速度并不是很大，其相对距离变化小，车辆在激光雷达和图像中的位置
和姿态变化很小，因此将检测车辆相邻两帧的运动近似成匀速运动，基于卡尔曼滤波
的车辆跟踪方法大多假设运动目标作匀速或者匀加速运动。物体作加速直线运动的运
动方程为：
1
St +1 = St + Vt Δt + at Δt 2 （3-35）
2
Vt +1 = Vt + at Δt （3-36）
其中匀速运动中 a = 0 ；匀加速运动中 at +1 = at = const

基于卡尔曼滤波跟踪的匀速运动与匀加速运动的方法基本相同，不同之处只是状
态变量维数、各参数矩阵的维数以及状态方程的维数不同。对于实时采集的激光雷达
与图像序列，每两帧之间的时间间隔很小，认为目标在相邻两帧数据中的运动变化缓
慢，在实验中采用车辆作匀速运动的假设。
定义卡尔曼滤波器的状态模型为：
X t = A ⋅ X t −1 + Wt （3-37）
其中 X t 是 t 时刻车辆的状态， X t −1 是 t − 1 时刻车辆的状态， A 为状态转移矩阵，Wt 为

高斯白噪声。
P (Wt ) ∼ N (0, Q ) （3-38）
定义系统的状态为 X t = ( xv , dxv , yv , dyv )T ，其中 xv ，dxv ， yv ， dyv 分别为车辆中心

的 x 方向上的位置、 x 方向上的速度、 y 方向上的位置、 y 方向上的速度
⎡1 Δt 0 0⎤
⎢0 1 0 0 ⎥⎥
A= ⎢ （3-39）
⎢0 0 1 Δt ⎥
⎢ ⎥
⎣0 0 0 1⎦
其中 Δt 为传感器数据的采集处理时间，这里设 Δt = 100ms
定义卡尔曼滤波器的测量模型为：
Z t = H ⋅ X t + Vt （3-40）
64
其中 Z t 为观测向量， H 为观测矩阵， Vt 为高斯白噪声

P (Vt ) ∼ N (0, R) （3-41）
定义系统的观测向量为 Z t = ( xv , yv )T ，其中 xv ， yv 分别 x 方向上位置、 y 方向上

位置的测量量，观测矩阵初始化为：
⎡1 0 0 0 ⎤
H=⎢ ⎥ （3-42）
⎣0 1 0 0 ⎦
其他参数的初始化，给定初始状态估计误差协方差矩阵为 P0 = I 4×4 ，初始系统过

程噪声的协方差矩阵 Q0 = I 4×4 ，初始测量噪声的协方差矩阵为 R0 = I 2×2 ，其中 I 为单
位矩阵。
本章实验采用车载二维激光雷达与摄像机进行路面车辆实时检测与跟踪实验，二
维激光雷达与摄像机安装固定并通过第二章方法标定完成，摄像机选用焦距为 8mm
的镜头（上一章实验已经完成 8mm 镜头的标定），图像分辨率采用 780×580，处理计
算机 CPU 为 1.8G 主频，内存为 1G，系统开发采用 Visual C++ 2005 集成开发环境。
3.5.1 激光雷达数据聚类实验
实验选取在路面情况复杂车流量大的城市环境中进行，实验目的主要是对比改进
前与改进后的激光雷达数据聚类效果和数据处理时间。实验过程中选取合适的参数进
行，其中原始 DBSCAN 算法选取的参数： MinPts = 3 ， ε = 500mm ，改进后选取参数
MinPts = 3 ， α weight = 180 ，部分实车实验处理图片如图 3.22 所示。
（a）第 1274 帧原始 DBSCAN 聚类（b）第 1274 帧改进后 DBSCAN 聚类
65
（c）第 1787 帧原始 DBSCAN 聚类（d）第 1787 帧改进后 DBSCAN 聚类
（e）第 1872 帧原始 DBSCAN 聚类（f）第 1872 帧改进后 DBSCAN 聚类
（g）第 1598 帧原始 DBSCAN 聚类（h）第 1598 帧改进后 DBSCAN 聚类
图 3.22 DBSCAN 算法对比实验
不同的聚类类别分别用不同的颜色进行区分，从图 3.22 可以看到原始 DBSCAN

算法选取固定的聚类半径，对较远的数据基本上判断为噪声点，因此出现对车辆数据
聚类的时候，将属于车辆部分的较远数据被当做噪声处理，当改进聚类半径根据激光
雷达扫描距离来自适应变化后，属于车辆部分的数据被成功划分为一个数据簇类，并
不对其他数据造成干扰。实验部分数据对比如表 3.2 所示，从实验数据看，改进后的
算法由于减少对邻域数据的搜索，其系统处理时间大为减少，由于聚类数据数目和每
个类别数据量会不一样，因此其处理时间也会不一样，当单个聚类数据数量大，其数
66
据处理时间较长。
表 3.2 DBSCAN 聚类算法实验对比

原始 DBSCAN 改进 DBSCAN
帧数
聚类密度聚类半径聚类时间聚类数目聚类密度聚类系数聚类时间聚类数目
1274 3 500mm 5ms 4 3 180 1ms 9
1598 3 500mm 8ms 8 3 180 4ms 8
1787 3 500mm 6ms 12 3 180 2ms 13
1872 3 500mm 7ms 6 3 180 3ms 6
3643 3 500mm 6ms 4 3 180 2ms 5
3.5.2 前方车辆检测与跟踪实验
实验选取路面情况复杂车流量大的城市道路环境中进行，该算法只对行驶车道上
前方车辆进行检测。如图 3.23-3.26 为部分帧的检测结果，白色矩形区域为激光雷达所
确定的车辆候选区域，从图 3.23-3.26（a）激光雷达视图可以看出不同类别颜色的候
选矩形框，将候选车辆尾部数据以投影至图像，获得候选车辆与地面相接触的交界线，
通过对交界线进行扩展而形成感兴趣区域，定义激光雷达投影至图像上的车辆候选区
域检测线宽度为 d ROI ，其左右两边各扩展 1/3 个 d ROI 宽度，向上扩展 1 个 d ROI 宽度，
向下扩展 1/3 个 d ROI 宽度。
（a）激光雷达视图（b）感兴趣区域（c）检测结果

图 3.23 第 6865 帧检测结果

图 3.24 第 7716 帧检测结果
67

图 3.25 第 8576 帧检测结果

图 3.26 第 9763 帧检测结果
下面对采用激光雷达与机器视觉相融合的车辆检测方法进行检测结果统计，对检
测器的最终检测结果评价一般采用查准率（Precision）和查全率（Recall）表示，其定
义如下：
True Positives
查准率(Precision) = （3-43）
True Positives+False Positives
True Positives
查全率(Recall) = （3-44）
True Positives+False Negtives
其中 True Positives 为准确检测目标数，False Positives 为漏检目标数，False Negtives

为虚警数。
实验抽取部分图像序列检测结果进行统计，其统计结果如表 3.3 所示，由于城市
中车辆目标繁多，统计中目标数为存在激光雷达扫描点并能成为候选区域的目标数
量，一般为行驶车道上和不超过激光雷达扫描范围的车辆。结合激光雷达数据和空间
位置大小等关系将部分虚警剔除，因此其虚警数少查全率较高。目标检测丢失的原因
有：外界干扰导致激光雷达数据丢失而不能形成候选检测区域；车辆在图像中的旋转
角度过大；车辆部分被遮挡，搜索区域中起灰度变化的特征矩形被遮挡。
68
表 3.3 部分车辆序列检测结果
序号目标数准确检测（TP）虚警数（FN）查准率查全率
序列 1 267 255 3 95.51% 98.84%
序列 2 272 250 5 91.91% 98.04%
序列 3 303 290 10 95.71% 96.67%
序列 4 239 220 5 92.05% 97.78%
下面对前方车辆进行检测跟踪实验，对于运动规则的车辆来说得到较好的跟踪结
果，如匀速直线运动，相对运动速度变化缓慢或背景噪声干扰少，如图 3.27 所示。但
当车辆运动方式不规则时，基于匀速直线运动假设的卡尔曼滤波器模型很难对车辆进
行成功跟踪，主要因为卡尔曼滤波假设状态转移只考虑线性假设而且观测噪声和过程
噪声为高斯噪声。
69
图 3.27 连续跟踪实验
3.6 本章小结
本章详细介绍了聚类分析的概念及其主要方法，分析激光雷达数据的数据特点，
并介绍常用的相关的聚类算法，通过与激光雷达数据的特点相结合，选择适合在激光
雷达中应用的聚类算法，最后选择基于密度的 DBSCAN 算法，通过对其特点和缺点
的分析完成结合实际应用的改进，提高了聚类的准确性和聚类实时性。按照激光雷达
对车辆扫描的三种扫描模型，完成车辆检测的假设产生，作为后续级联分类器的第一
级节点。通过传感器数据融合的方法，在图像中生成感兴趣区域，利用扩展 Haar-like
特征和 AdaBoost 算法训练出车辆分类器，并在感兴趣区域中完成假设校验，然后利
用卡尔曼滤波器完成基本的车辆预估跟踪。
70
4 基于彩色机器视觉的交通信号灯识别与跟踪
近年来，智能车辆在城市交通环境下行驶的研究倍受重视，智能车辆必须遵守城
市环境下的交通规则，而交通信号灯则是车辆在城市环境行驶中的一个重要标志，智
能车辆需要根据交通信号灯的信息实现路径规划和决策，因此交通信号灯识别在城市
环境下的智能车辆研究中具有十分重要的意义。
本章针对交通信号灯的特点提出一种在复杂城市环境下的基于统计学习与先验
知识相结合的交通信号灯识别算法和完成交通信号灯的跟踪，建立交通信号灯样本
库，并且通过 CAN 总线将识别结果传输至智能车辆决策处理系统，最后通过实车实
验验证该算法具有良好的实时性和鲁棒性。
4.1 交通信号灯标准与关键问题
目前，不同国家不同地区所采用的交通信号灯样式都不尽相同，但在国内现行的
（GB 14887-2003）[117]和《道
交通信号灯都必须遵循国家标准——《道路交通信号灯》
路交通信号灯设置与安装规范》（GB 14886-2006）[118]，通过标准可知，交通信号灯
按发光单元透光面尺寸分类可分为： φ 200 mm、 φ 300 mm、 φ 400 mm。
在城市环境道路中，车辆行驶主要遵守机动车信号灯和方向信号灯的指示，本研
究主要对这两种样式的信号灯进行识别和跟踪。机动车信号灯由红色、黄色、绿色三
个几何位置分立的无图案圆形单元组成的一组信号灯，指导机动车通行；方向指示信
号灯由红色、黄色、绿色三个几何位置分立的内有同向箭头图案的圆形单元组成的一
组信号灯，用于指导某一方向上机动车通行，箭头方向向左、向上和向右分别代表左
转、直行和右转，绿色箭头表示车辆允许沿箭头所指的方向通行，红色或黄色箭头表
示仅对箭头所指方向起红灯或黄灯的作用。虽然交通信号灯的样式各不相同，但是其
灯号都是主要由红、黄、绿或者红、绿组成，各种不同排列顺序的机动车和方向指示
信号灯的说明和图示如表 4.1 所示。
71
表 4.1 交通信号灯排列顺序、说明和图示
序号排列顺序说明图示
竖向安装，从上向下应为
1
红、黄、绿
用于两相位的相位设置方式
横向安装，由左至右应为
2
红、黄、绿
左转绿灯亮，机动车红灯亮，右转红灯亮表示：
竖向安装，分为 3 组。左转方向可通行，直行和右转禁行；
左边一组为左转方向指左转红灯亮，机动车绿灯亮，右转红灯亮表示：
示信号灯，从上向下应为直行方向可通行，左转和右转禁行；
红、黄、绿；方向指示信号灯中绿色发光单元不得与机动车
中间一组为机动车信号信号灯中绿色发光单元同亮；
3
灯，从上向下应为红、黄、允许左转方向指示信号灯中所有发光单元均都
绿；不亮，此时相当于 5；
右边一组为右转方向指允许右转方向指示信号灯中所有发光单元均都
示信号灯，从上向下应为不亮，此时相当于 4；
红、黄、绿。允许左转和右转方向指示信号灯中所有发光单
元均都不亮，此时相当于 1。
左转绿灯亮，机动车红灯亮表示：左转方向通
行，直行禁行，右转弯的车辆在不妨碍被放行
竖向安装，分为 2 组，左
的车辆、行人通行的情况下，可以通行；
边一组为左转方向指示
左转红灯亮，机动车绿灯亮表示：直行和右转
信号灯，从上向下应为
4 方向可通行，左转禁行；
红、黄、绿，右边一组为
方向指示信号灯中绿色发光单元不得与机动车
机动车信号灯，从上向下
信号灯中绿色发光单元同亮；
应为红、黄、绿。
允许左转方向指示信号灯中所有发光单元均都
不亮，此时相当于 1。
竖向安装，分为 2 组，左
用于需要单独控制右转的路口；
边一组为机动车信号灯，
方向指示信号灯中绿色发光单元不得与机动车
从上向下应为红、黄、绿，
5 信号灯中绿色发光单元同亮；
右边一组为右转方向指
允许右转方向指示信号灯中所有发光单元均都
示信号灯，从上向下应为
不亮，此时相当于 1。
红、黄、绿。
采用左、直、右 3 组方向
指示信号灯，竖向安装，
6
信号灯排列顺序由上向
下应为红、黄、绿。若夜间或其他时段采用两相位的相位设置方式
采用左、直、右 3 组方向时，不宜采用此种排列顺序。
指示信号灯，横向安装，
7
信号灯排列顺序由左至
右应为红、黄、绿。
72
通过绪论对交通信号灯研究现状的分析，基于色彩特征的识别方法在背景环境相
对简单的情况下，能够有效地检测和识别出交通信号灯，如背景为天空，但对于背景
环境相对复杂的情况下，如城市道路环境，存在车辆、行人或广告牌等影响，因此基
于色彩特征的识别方法则很容易出现虚警。基于形状特征的识别方法可以有效地减少
基于色彩特征识别的虚警，但需要建立形状特征规则，对不同样式的交通信号灯来说，
需要建立不同的形状特征规则，无疑限制了算法的灵活性。基于模板匹配的识别方法
同样需要建立不同样式的交通信号灯模板或者建立多级的交通信号灯模板来实现不
同样式的交通信号灯识别。单一的方法都不能很好地完成交通信号灯的识别，因此需
要算法和特征的综合才能很好地适应环境的变化和不同样式交通信号灯的识别。
本章就几个在智能车辆应用中识别交通信号灯的关键问题进行展开：
（1）在智能车辆上的应用，意味着摄像机为车载安装，背景图像为动态变化，
与在智能交通监控应用中的摄像机固定安装方式所采用的算法会有所不同；
（2）摄像机镜头的焦距决定交通信号灯在图像中的成像大小，在同样的距离情
况下，焦距长则成像大、视角范围窄，对不同安装位置的交通信号灯来说，有可能不
在其视觉范围，另外车辆的行驶振动会影响其成像质量，导致模糊；反之成像小、视
角范围宽，其第一帧识别需要较近的距离，因此需要选择合适的镜头综合其有效成像
距离和视角范围；
（3）智能车辆在实际的城市环境中行驶，会遇到不同样式的交通信号灯，可能
是横式或者是竖式，同时也可能是机动车信号灯或者转向信号灯，其交通信号灯的安
装方式也有所不一，大型的交叉路口大多采用悬挂式的交通信号灯，安装高度比较高，
其背景几乎都为天空，而在小型的交叉路口中，交通信号灯大部分采用立柱式的安装
方式，其背景会相对复杂很多，除此之外还有少部分门式和挂壁式，因此需要设计适
应性、灵活性和可扩展性都比较好的分类器；
（4）对于交通信号灯灯色变化的研究，可以根据交通信号灯灯色转换的时序进
行灯色转变的跟踪，其时序为：红→绿→绿闪→黄→红；
（5）当完成交通信号灯识别后，需要对其进行跟踪，可以有效的缩短系统处理
时间，有利于系统实时性的提高，让智能车辆有足够的时间实现路径规划和决策，因
此对交通信号灯的跟踪也是本章研究中的一个方面；
（6）需要将交通信号灯识别的结果结合停车线检测得到的距离按照本文制定的
总线协议传送至整车通信网络，方便规划决策系统完成车辆的自动引导；
73
4.2 交通信号灯识别跟踪系统结构
交通信号灯识别所采用的系统结构可分为图像采集模块、图像预处理模块、识别
模块、跟踪模块和通信模块，其系统结构图如图 4.1 所示。
图 4.1 交通信号灯识别系统结构
（1）图像采集模块，摄像机成像质量好坏影响后续识别和跟踪的效果，本章研
究采用彩色摄像机，其中摄像机的镜头焦距、曝光时间、增益、白平衡等参数的选择
都对摄像机成像效果和后续处理有重要影响。
（2）图像预处理模块，其中包括彩色空间选择和转换、彩色空间各分量的统计
分析、基于统计分析的彩色图像分割、噪声去除、基于区域生长聚类的区域标记，通
过图像预处理后得到交通信号灯的候选区域。
（3）识别模块，该模块包括离线训练和在线识别两部分，离线训练通过交通信
号灯的样本和背景样本的统计学习得到分类器，利用得到的分类器完成交通信号灯的
检测，结合图像预处理得出的结果和交通信号灯先验位置信息完成其识别功能。
（4）跟踪模块，通过识别模块得到的结果可以得到跟踪目标，利用基于彩色的
跟踪算法可以目标进行跟踪，有效提高目标识别的实时性和稳定性。
（5）通信模块，该模块是联系环境感知系统、规划决策系统与底层控制系统的
桥梁，通过定制的通信协议完成各系统的通信，有效的完成自动车辆引导。
74
4.3 基于彩色视觉的交通信号灯检测与识别
4.3.1 彩色空间模型
彩色空间模型简单地说是用来表现色彩的一种数学表示方法。本质上，彩色空间
模型是坐标系统和子空间的阐述。现在大多数彩色空间模型都是面向硬件（如彩色监
视器和打印机）或面向应用的[119]。常用的彩色空间包括：线性彩色空间和非线性彩
色空间。其中线性彩色空间有 RGB、CMY、XYZ、YIQ、YUV，非线性彩色空间有
Nrgb、Nxyz、L*a*b*、L*u*v*、HSI（HSV）。下面对几种常用的彩色空间模型进行
详细分析，并根据交通信号灯识别的特点选取合适的彩色空间。
（1）RGB（红 Red、绿 Green 和蓝 Blue）彩色空间模型
T.Yong 在 1802 年提出任何色彩都可以由三种不同的基本色彩按不同的比例混合
而得到的色度学基础理论，其表达公式如下所示：
f = aR + bG + cB （4-1）
其中 R 为红色分量， G 为绿色分量， B 为蓝色分量， a 、 b 、 c 分别为各分量的权值，

f 为合成后的色彩。
在 RGB 彩色空间模型[120]中，每种色彩出现在红、绿、蓝的原色光谱分量中，该
彩色模型是基于笛卡尔坐标系统的，其彩色空间模型如图 4.2 所示的立方体。不同的
色彩处在立方体上或其内部，并可用从原点分布的向量来定义，为了方便起见，假定
所有的色彩值都归一化至 [0,1] 范围内取值。
图 4.2 RGB 彩色空间模型
在数字图像处理和多媒体计算机技术中，RGB 彩色空间模型使用最多，但在该彩
75
色空间模型中， R 、 G 、 B 各分量间存在着很大的相关性，这种相关性意味着亮度的
变化会导致 R 、 G 、 B 各分量的变化，所以 RGB 彩色空间模型并不适用与彩色图像
的精确分割[121]。在交通信号灯识别中，虽然通过 RGB 模型进行彩色分割不需要进行
彩色空间的转换，但是由于该模型的各分量与亮度之间存在很大的相关性，因此并不
适用与复杂城市环境下的交通信号灯感兴趣区域 ROI 提取。
（2）HSI（色调 Hue、饱和度 Saturation 和亮度 Intensity）彩色空间模型
HSI 彩色空间模型是从人的视觉系统出发的彩色模型，该模型可在彩色图像中从
携带的彩色信息（色调和饱和度）里消除亮度分量的影响，使 HSI 模型成为开发基于
彩色描述的图像处理方法的理想工具，其彩色空间模型如图 4.3 所示的圆柱体。
图 4.3 HSI 彩色空间模型
在 HSI 彩色空间模型中，如图 4.3 所示任意取一点 P ，则该点的色调为原点 O（ P

点的色彩横截面与垂直亮度轴的交点）到 P 点的向量与红轴的夹角，饱和度（距垂直
亮度轴的距离）为从原点 O 到 P 点的向量长度。HSI 彩色分量可由 RGB 彩色分量经
过非线性变换获得，色调 H 分量归一化至 0 到 360 之间，饱和度 S 分量归一化至 0 到
1 之间，亮度 I 分量归一化至 0 到 1 之间，其公式如下：
⎧ θ B≤G
H =⎨ （4-2）
⎩360 − θ B>G
⎧ 1/ 2[( R − G ) + ( R − B)] ⎫
θ = arccos ⎨ 1/2 ⎬ （4-3）
⎩[( R − G ) + ( R − G )(G − B)] ⎭
2
3
S = 1− [min( R, G, B)] （4-4）
( R + G + B)
R+G + B
I= （4-5）
3
76
由上述表达式可知，色调分量、饱和度分量和亮度分量是完全分离的，对信号灯
识别能够很好进行的感兴趣区域分割，但从 RGB 彩色空间模型至 HSI 彩色空间模型
的转换是一种非线性变换，会增加一定的系统处理时间。
（3）HSV（色调 Hue、饱和度 Saturation 和明度 Value）彩色空间模型
HSV 彩色空间模型与 HSI 彩色空间模型相类似，对于一些人，HSI 更好的反映
了“饱和度”和“亮度”作为两个独立参数的直觉观念，但是对于另一些人，它的饱
和度定义是错误的，因为非常柔和的几乎白色的色彩在 HSI 可以被定义为是完全饱
和的，HSV 中认为饱和度为色彩的纯度，若色彩混杂的白色越少，色彩越鲜明，饱和
度就越趋近于 1，反之，白色比例越多，色彩越淡，其饱和度就趋近于 0。
因此在 HSV 彩色空间模型中，饱和度 S 分量和明度 V 分量的定义与 HSI 彩色空
间模型中的定义有所不同，而色调 H 分量的定义则是一致的，同时由于 R 、G 、 B 分
量分别归一化至 0 到 1 之间，其饱和度 S 分量的表达式也归一化至 0 到 1 之间，由下
式得到：
⎧ 0 if (max( R, G, B) = 0)
⎪
S = ⎨ max( R, G, B) − min( R, G, B) （4-6）
⎪ otherwise
⎩ max( R, G, B)
其明度 V 分量归一化至 0 到 1 之间，由下式得到：

V = max( R, G, B) （4-7）
（4）CIE 彩色空间模型
CIE 彩色模型是为了从基色出发定义一种与设备无关的彩色模型，1931 年国际照
明委员会采用了一种新的彩色系统，叫做 CIE XYZ 系统，这个系统采用想的 X 、 Y 、
Z 三种基色可由 R 、 G 、 B 经过线性变换得到。CIE 特殊委员会确定了标准变换公式
如下：
⎡X ⎤ ⎡ 0.49 0.31 0.20 ⎤ ⎡ R ⎤
⎢Y ⎥ = 1 ⎢0.17697 0.81240 0.01063⎥ ⎢G ⎥
⎢ ⎥ 0.17697 ⎢ ⎥⎢ ⎥ （4-8）
⎢⎣ Z ⎥⎦ ⎢⎣ 0.00 0.01 0.99 ⎥⎦ ⎢⎣ B ⎥⎦
CIE 彩色空间模型有两种常用的标准型，分别为 L*a*b*彩色空间和 L*u*v*彩色

空间，无论是 L*a*b*还是 L*u*v*，都必须由 X 、 Y 、 Z 经过非线性变换得到。因为
在 L*u*v*彩色空间中，红色与蓝色具有良好的分离性，因此在特征彩色为红色和蓝
色的交通标志识别系统[122][123][124]中得到了一些应用，但该彩色空间模型需要经过一次
77
线性变换和一次非线性变换处理，单帧的图像处理时间会较长，同时和 HSI 彩色空间、

HSV 彩色空间一样，当彩色图像接近为灰度图像时，色调值同样出现稳定的特性。而
L*a*b*彩色空间模型也是一个很好的亮度和彩色分离器，使得它在图像操作（如色调
和对比度的编辑）和图像压缩方面得到广泛的应用。
4.3.2 基于彩色分割的目标候选区域提取
通过对上述各种彩色空间模型的详细介绍和分析，可以得知各种彩色空间的转换
模型。另外，不同彩色空间模型的选择对交通信号灯的识别起着重要的影响，需要根
据交通信号灯在摄像机中成像的色彩特征和对系统实时性的要求，选择彩色空间模型
进行彩色分割提取感兴趣区域，因此探讨合适的彩色空间是交通信号灯识别研究的关
键问题，如图 4.4 所示为 RGB 彩色空间模型的各个彩色分量。
图 4.4 RGB 的 R 、 G 、 B 分量
从图 4.4 可以看到，RGB 图像是直接从摄像机采集回来的数据，并不没有经过彩

色空间的转换，但由于 R 、 G 、 B 各个彩色分量之间存在着相关性，不利于目标识别
的彩色分割处理，而 CIE 彩色空间模型又存在实时性的问题，HSV 彩色空间模型更
适合交通信号灯的识别。
目前，常用的彩色分割算法有直方图阈值分割法、特征空间聚类法、基于区域的
方法、基于边缘检测的方法、模糊集合的方法、神经网络的方法、基于物理模型的方
法等[121][125]。其中阈值分割法具有很强的实时性，而且交通信号灯的灯号色调基本固
定不变，因此基于 HSV 彩色空间的阈值分割方法适合交通信号灯识别系统的应用。
另外由于摄像机成像效果的差别，对物体本身色彩的还原性也存在一定的差别，需要
对采集回来的交通信号灯进行数据统计分析，从而找出合适的色调、饱和度和明度的
上下阈值，阈值分割法在 HSV 彩色特征空间中设定阈值，并与图像像素的实际分量
78
值进行比较，从而使交通信号灯的灯号能很好的从背景图像中提取出来。
阈值的确定需要对交通信号灯三种不同灯号在 HSV 彩色特征空间中 H 、S 、V 各
分量值进行统计分析，其统计工作主要分为两部分处理，首先选择红灯、黄灯和绿灯
整个信号灯的 H 、 S 、V 各分量值进行分析，观察哪个分量设置阈值能够快速提取信
号灯点亮的灯号，如图 4.5 所示为提取的红灯、黄灯和绿灯样本，通过对这三个灯号
进行各分量的统计，得到这三个灯号各分量值的分布情况，如图 4.6，图 4.7，图 4.8
所示即为这三个灯号各分量值的分布情况，然后通过多个不同亮度的信号灯光斑进行
更细致的统计并确定阈值范围，由于摄像机的帧率与交通信号灯的刷新率不同，因此
图像中会出现信号灯从亮 → 暗 → 灭 → 暗 → 亮的过程，需要选取不同亮度的光斑样
本进行统计。
（a）绿灯（b）黄灯（c）红灯

图 4.5 交通信号灯灯号样本
图 4.6 是通过图 4.5（a）提取出来的 15×40 绿灯样本在 HSV 彩色特征空间中各

分量的在不同像素点中的值，可以看到图 4.6（a）所示的色调曲面比较紊乱，而图 4.6
（b）的饱和度曲面和图 4.6（c）的明度曲面有很明显的峰值。
（a）色调（b）饱和度（c）明度

图 4.6 绿灯的在 HSV 空间中各分量值的分布情况
同样，图 4.7 是通过图 4.5（b）提取出来的 15×40 黄灯样本在 HSV 彩色特征空
79
间中各分量的在不同像素点中的值，可以看到图 4.7（a）所示的色调曲面比绿灯的图
4.6（a）色调特征明显，在纵坐标为 20 的位置出现明显的下陷区域，能够很好的完成
阈值分割，图 4.7（b）的饱和度曲面和图 4.7（c）的明度曲面更加凸显出其峰值。

图 4.7 红灯的在 HSV 空间中各分量值的分布情况
最后，图 4.8 是通过图 4.5（c）提取出来的 15×40 红灯样本在 HSV 彩色特征空

间中各分量的在不同像素点中的值，图 4.8（a）所示的色调的下陷最为明显，图 4.8
（b）和图 4.8（c）的分量值都可以很好的提取阈值，信号灯灯号光斑提取出来作为
交通信号灯的候选区域。

图 4.8 红灯的在 HSV 空间中各分量值的分布情况
上述对交通信号灯不同灯号在 HSV 空间上的分析，证明在 HSV 空间上能够有效

地提取出信号灯的候选区域，下面专门针对信号灯灯号光斑进行具体阈值的确定，每
种信号灯选取 150 幅不同光照条件、不同环境采集和不同光暗程度的样本，归一化成
80
同一尺寸 20×20，如图 4.9 所示为不同光暗程度的样本。
图 4.9 不同光暗的交通信号灯灯号样本
（a）色调统计图（b）饱和度统计图
（c）明度统计图
图 4.10 样本的各分量统计结果
如图 4.10 所示为不同样本的 HSV 空间各分量的统计曲线，图 4.10（a）的色调统

计可以看到红灯和黄灯的色调峰值相对接近，有一部分重叠区域，但还是有较为明显
的分界线，绿灯与红灯黄灯的距离相对比较远，而且没有重叠区域，因此色调是一个
比较合适的阈值分割特征。饱和度和明度的统计曲线可以看到三种信号的曲线走势都
比较接近，当信号灯点亮时其明度值会明显高于周围区域的明度值，可以作为第二个
阈值分割特征，但存在信号灯从亮 → 暗 → 灭 → 暗 → 亮的过程，需要对其取值范围
进行扩大。结合整个交通环境背景分析，背景为天空的图片其天空的明度值也很大，
81
需要通过饱和度值进行分割，形成了第三个阈值分割特征。
本章将采用 HSV 彩色特征空间的三个分量组成阈值分割的特征参数，参数的具
体选择需要根据图 4.10 的对比曲线获取，另外还需要考虑最小风险系数和最小错误率
的影响，为了防止检测目标的丢失，特别是红灯和黄灯，其危险级别比较高，需要对
各个特征参数范围进行一定的扩大，然后在通过后续校验将虚警去除，其参数选取如
表 4.2 所示。其中红灯和黄灯的色调参数会存在部分重合区域，该区域可通过后续校
验来完全分离。在实际应用情况中，将黄灯误判成红灯其危险性小，同时为确保智能
车辆的行驶安全，检测到黄灯和红灯时，车辆都需要停车等候。
表 4.2 HSV 彩色特征参数选取

灯号色调（hue）饱和度（saturation）明度（value）
红灯 0 ~ 30 和 350 ~ 360 0.25 ~ 0.75 90 ~ 255
黄灯 20 ~ 50 0.30 ~ 0.85 90 ~ 255
绿灯 140 ~ 220 0.20 ~ 0.60 90 ~ 255
4.3.3 形态学处理
经过彩色分割后，可以得到二值图像，而由于彩色分割中，背景环境的变化会存
在一些与交通信号灯色调、饱和度、明度相类似的点或区域。在彩色分割处理中，它
们会导致二值图像中产生一些噪声或者干扰，噪声会使系统产生感兴趣区域，无疑增
加后续的处理时间，需要将这些噪声点去除而保留真正的交通信号灯区域。而形态学
处理能够很好地解决二值图像的噪声去除问题，并且可以给连通区域进行区域标记，
方便感兴趣区域的建立和识别后的目标校验，下面就算法应用简单介绍所用到的形态
学处理算法。
形态学兴起于 20 世纪 60 年代，是图像理解的一个分支。形态学运算的基本思想
是利用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析
和识别的目的。其中形态学处理以腐蚀和膨胀这两种基本运算为基础，除此之外还包
括开操作与闭操作、击中或击不中变换、边界提取、区域填充、连通分量的提取、凸
壳、细化、粗化、骨架和裁剪等。在二值图像处理应用中，用这些运算及其组合可以
完成图像形状和结构的分析及处理，包括噪声预处理、图像分割、特征提取、边缘检
测、图像滤波、图像增强和图像恢复等方面都有相关的应用。
82
（1）结构元素
结构元素（Structure Element）是形态学中最基本的概念，结构元素可以根据图像
处理的要求选取合适的形态，如点队、线段、菱形、圆、圆柱等，在图像中对所有图
像像素进行遍历并与图像相对应的区域进行逻辑运算，最终输出该像素点的值，因此
形态学处理主要取决于结构元素的形态、大小和逻辑运算的形式。在二值图像形态学
处理中，结构元素为平面二维结构，是由 0 或 1 组成的矩阵，并且结构元素的尺寸应
为奇数，其中心位置为结构元素的原点，为结构元素参与形态学运算的参考点。
（2）腐蚀
腐蚀（Erosion）在形态学中是一种消除边界点，使边界向内收缩的过程。可以用
来消除二值图像中小而且无意义的像素点，如噪声点。对 Z 中的集合 A 和 B ，使用 B
对 A 进行腐蚀，用 AΘB 表示，并定义为：
AΘB = { z | ( B ) z ⊆ A} （4-9）
该公式表明，使用 B 对 A 进行腐蚀就是所有 B 中包含于 A 中的点 z 的集合用 z 平移。

（3）膨胀
膨胀在形态学中刚好与腐蚀相反，膨胀（Dilation）是对二值图像中像素边界点进
行扩大，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程。 A
和 B 为 Z 中的集合， A 被 B 膨胀，用 A ⊕ B 表示，并定义为：
{
A ⊕ B = z | ( Bˆ ) z ∩ A ≠ ∅ } （4-10）
该公式是以得到 B 的相对于它自身原点的映像并且由 z 对映像进行位移为基础

的， A 被 B 膨胀是所有位移 z 的集合，这样 B̂ 和 A 至少有一个元素是重叠的。
根据上述的腐蚀和膨胀运算，能够快速完成噪声去除的预处理工作，由于交通信
号灯在图像上的成像相对较小，其腐蚀和膨胀的次数需要根据原始图像的分辨率和摄
像机镜头焦距大小进行决定，当选择高分辨率的图像采集，其交通信号灯在图像中的
成像会比较大，可以通过二次腐蚀和膨胀操作进行噪声处理而不会导致将目标在腐蚀
阶段被当作噪声去除，而分辨率较小的图像，则采用一次腐蚀和膨胀操作即可，否则
二次腐蚀膨胀会将信号灯当作噪声去除。同样摄像机的焦距较大时，信号灯在图像中
的成像也会比较大，可以通过二次腐蚀膨胀完成噪声处理，反之可以通过一次腐蚀膨
胀操作即可，一次腐蚀膨胀操作如公式（4-11）所示，二次腐蚀膨胀操作如公式（4-12）
所示。
83
P = ((C ΘT ) ⊕ T ) （4-11）
P = ((((C ΘT )ΘT ) ⊕ T ) ⊕ T ) （4-12）
根据上述的彩色分割和形态学运算，可以完成交通信号灯候选区域的提取，如图
4.11 所示，图中通过以红灯为例来描述整个处理过程，图 4.11（a）为没有经过处理
的图片，图 4.11（b）为经过阈值法进行彩色分割的结果，图 4.11（c）为经过形态学
处理的结果，图中红色虚线圈为识别目标，黄色圆圈为与红灯色调、饱和度和明度相
像的区域。在城市环境中，一些干扰会引入非识别目标的候选区域，如前方车辆的刹
车灯，刹车灯在附近车辆的反射（图 4.11（a）中公交车车身上有左侧小车刹车灯的
，广告灯箱等，图 4.11（c）经过预处理后只有一个候选区域，但在很多实际应
投影）
用中会出现两个或以上的候选区域，则需要利用连通域进行区域标记来继续后续的校
验。
（a）原始图片（b）彩色分割（c）噪声处理

图 4.11 交通信号灯候选区域提取
4.3.4 区域标记
经过彩色分割和形态学处理后形成一个或多个的候选区域，通过连通域的处理可
以将各分割目标标记出来，这里采用了连通域的区域标记算法处理，所谓区域标记就
是把连续区域作同一个标记，常见的四邻域标记算法和八邻域标记算法，通过区域标
记可以求得这些候选区域的中心位置、外接矩形宽度和高度、像素面积等参数。其基
本算法原理首先进行第一次扫描，标记连通区域，然后对等价标记进行合并，最后进
行第二次扫描，对等价标记进行重新标记。
对于立柱式和悬挂式交通信号灯都会在图片中存在一定的空间位置关系，通过 8
连通域的区域标记法对处理后的连通区域进行标记，将标记后的连通区域作为目标检
测的候选区域，图 4.12（b）中的自行车信号灯经过预处理后也成为目标候选区域。
84
（a）原始图片（b）区域标记图

图 4.12 交通信号灯区域标记
4.3.5 基于统计学习与先验知识的交通信号灯检测与识别
交通信号灯具有一定的相似特征，如信号灯整体轮廓形状、灯号在信号灯中的位
置和形状等，而在实际的交通环境道路中，又存在很多不同种类的交通信号灯，如竖
式机动车交通信号灯、竖式左转交通信号灯、竖式直行交通信号灯、竖式右转交通信
号灯、横式机动车交通信号灯、横式左转交通信号灯、横式直行交通信号灯、横式右
转交通信号灯等，也受不同的光照条件和不同的交通信号灯亮度影响，不同行车道上
对交通信号灯的采集也有所不同。除此之外，交通信号灯的安装方式也为一个极其重
要的影响，其安装方式决定了其背景图像的情况，目前大部分交通信号灯的安装方式
主要有：单臂悬挂式、双臂悬挂式、立柱式、门式、挂壁式等。
为了丰富正样本的多样性，增强正样本的灰度变化特征，使样本更具有统计特性，
需要将交通信号灯样本进行周边扩大，多种背景下的信号灯形成了灰度变化多样性的
样本，其部分竖式机动车交通信号灯样本如图 4.13 所示，部分竖式方向交通信号灯样
本如图 4.14 所示。本训练集竖式信号灯正样本采用样本左右两边各扩展归一化样本宽
度的 0.5 倍，上下两边各扩展归一化样本高度的 0.1 倍，横式信号灯正样本采用样本
左右两边各扩展归一化样本宽度的 0.2 倍，上下两边各扩展归一化样本高度的 0.25 倍，
对样本进行周边扩大有利于使整个信号灯与背景环境的灰度变化形成强烈的灰度变
化统计特性，有利于增强信号灯分类器的分类能力和降低其虚警率。
从图 4.13 和图 4.14 可以看到样本为多个路口数据采集的结果，并选取具有不同
的背景环境，不同的明暗度，不同的安装方式，不同的信号灯远近造成不同的清晰度
等，尽可能的形成样本的多样性和样本的统计特性，最后通过手工标定提取整个信号
85
灯的外轮廓，对所有样本进行归一化和周边扩大，完成交通信号灯样本库的建立。
图 4.13 部分竖式机动车交通信号灯样本
图 4.14 部分竖式转向交通信号灯样本
完成正样本库的建立后，可以提取不同类别样本库中的样本进行组合训练，以完
成不同的分类和识别功能。本研究由于主要针对道路环境较为复杂的城市环境，有各
种不同的路牌、行人、广告牌、车辆刹车灯的干扰，为了对多样的信号灯进行有效校
验，使用分类器进行感兴趣区域的检测，因此将样本分成竖式信号灯和横式信号灯两
类进行分类器的训练，增强其通用性和扩展性，后续通过信号灯的归一化面积与位置
先验知识对信号灯进行进一步的分类。分类器的训练采用 Haar-like 特征和 AdaBoost
算法完成，第一次训练负样本为随机抽取的背景图片，完成第一个分类器的训练后负
样本由 Bootstrapping 方法获取和随机抽取的背景图片组成，
其训练参数如表 4.3 所示。
表 4.3 交通信号灯训练参数
训练名称期望级数期望最小命中率期望最大虚警率特征模式 Boost 类别
竖式信号灯正样本数负样本数样本宽样本高对称性
3632 9234 16 24 是
期望级数期望最小命中率期望最大虚警率特征模式 Boost 类别
横式信号灯
正样本数负样本数样本宽样本高对称性
3127 9234 28 12 否
86
图 4.15 交通信号灯识别流程图
通过对样本集的训练，可以得到竖式和横式交通信号灯的分类器。利用分类器在
以各个标记区域的重心为中心进行扩展，分别载入竖式和横式信号灯分类器进行检
测，搜索到目标后输出竖式或横式交通信号灯标志，并完成了信号灯的定位。根据机
动车信号灯与方向信号灯其亮灯区域面积的差异进行进一步的分类，归一化检测区域
中彩色分割后的目标连通区域面积，设置归一化面积阈值，即目标连通区域面积与检
测区域面积之比，根据阈值判断是机动车信号灯（即圆形信号灯）还是方向信号灯，
当未符合阈值范围判断为未知类型信号灯。通过对 300 个样本进行统计，根据统计确
定阈值为 0.03，圆形无图案信号灯归一化后分布在 0.04~0.06 之间，箭头图案信号灯
归一化后分布在 0.01~0.025 之间。若为机动车信号灯，结合竖式或横式信号灯输出标
志和色彩输出标志，可以确定机动车信号灯的灯色，完成其识别过程。若为方向信号
灯，则需要再进一步的判断其箭头方向，按照表 4.1 所示的国家标准交通信号灯安装
数量和顺序可以得知，左转信号灯安装在信号灯排的最左边，指导左转车道车辆是否
87
通行；右转信号灯安装在信号灯排的最右边边，指导右转车道车辆是否通行；直行信
号灯安装在信号灯排的中间位置，指导中间车道车辆是否通行。因此分析各输出目标
在图像中的相互位置关系可以判断不同方向的方向信号灯。
4.4 交通信号灯跟踪
由于车辆在经过交叉路口的过程中，车速一般都会降低，采集图像帧间的信号灯
的位置变化相对较慢，当多帧确定该区域为交通信号灯后，并不需要对整幅图像进行
预处理和复杂的校验，因此跟踪对于交通信号灯识别来说是一个重要的步骤，跟踪算
法保证了目标识别的实时性和和抗干扰能力。
4.4.1 波门跟踪算法
波门跟踪是跟踪形式中的一种，该跟踪算法与检测算法相结合完成目标的跟踪定
位。波门跟踪需要设置一个波门，波门的尺寸需要大于目标在图像中成像大小，使目
标在波门中而不受波门外噪声干扰。另外，若对整幅图像进行处理，数据量很大，借
助波门控制，可以对图像实现局部的处理，大大减少计算量。跟踪波门可分为固定式
和自适应式两种，前者在跟踪目标的过程中，波门的大小始终不变，后者则是在跟踪
目标的过程中，波门随目标的大小而变，当目标由远及近变大时，或由于目标姿态的
变化导致投影形状的大小变化时，都要求跟踪波门也随之变化。根据跟踪系统所要求
的跟踪精度的不同，波门跟踪算法通常有矩心跟踪算法、边缘跟踪算法、双边缘跟踪
算法和区域平衡跟踪算法等[126][127]。
目标跟踪系统中波门位置的选择对于目标的跟踪至关重要，若波门的位置偏移目
标位置过大，则目标可能不会在波门内，导致目标丢失。波门的初始位置，一般通过
检测算法自动完成。在目标跟踪过程中，波门的中心位置为目标检测或预测点的坐标
位置，因为该点位置通常偏移目标中心位置较小。波门尺寸比例的选择与跟踪性能的
稳定性密切相关，若波门设置得过大，虽然能够适应目标运动的机动性，但波门内的
噪声和干扰等也随之增多，很难匹配出最佳匹配点，甚至会匹配上伪目标，造成抗干
扰性能的下降，同时运算处理时间也随即增加；反之，波门设置得过小，运算处理时
间缩短，噪声干扰也会减少，但目标很容易跑出波门之外，造成目标的丢失。因此在
跟踪系统中，波门的大小需要自适应地调整，设目标在图像中为 ( xcenter , ycenter , w, h) ，
则波门的位置和尺寸表达式如下[128]：
88
WinLeft = xcenter − α1w （4-13）
WinRight = xcenter + α1w （4-14）
WinTop = ycenter − α 2 h （4-15）
WinBottom = ycenter + α 2 h （4-16）
其中 WinTop 、 WinBottom 、 WinLeft 、 WinRight 为波门跟踪窗口的上下左右边界， α1 、 α 2 为

控制波门大小的比例系数。通过上述波门位置表达式，只要调整 xcenter 、ycenter 、α1 、α 2
即可控制波门的位置和尺寸。
波门跟踪对于运动速度相对较慢的目标来说最为简单快捷，预处理和校验得到的
结果作为波门大小的设置依据。从车辆行驶过程观察交通信号灯在图像中的变化规
律，随着车辆不同驶近，信号灯在图像中的位置不断往上边缘移动，目标大小也不断
增大，而且增大速度与车辆行驶速度有关，需要对波门自适应调整，同时结合交叉路
口行车速度较慢的因素设置波门大小，使待检测目标能够落入设置的波门中进行下一
帧的快速搜索，其跟踪算法流程如图 4.16 所示。
图 4.16 波门跟踪算法流程
89
4.4.2 Mean Shift 算法
1975 年 Fukunaga 和 Hostetler 提出一种非参数概率密度梯度估计的算法，即 Mean

Shift 算法[129]，虽然该算法效率非常高，但在以后的一段时间内 Mean Shift 并未得到
人们的关注。直到 1995 年 YiZhong Cheng 对 Mean Shift 算法进行重新的总结和分析
[130]
，并对该算法进行了改进，首先定义了一非平的核函数，使得随着样本与被偏移
点的距离不同，其偏移量对均值偏移向量的贡献也不同；其次还设定了一个权重系数，
使得不同的样本点重要性不一样，这大大扩大了 Mean Shift 的适用范围，并成功将该
算法扩展至计算机视觉领域。YiZhong Cheng 对算法的改进再度引起了相关领域的研
究人员对 Mean Shift 算法的重视。随后，D. Comaniciu 等人将 Mean Shift 成功地应用
到图像特征空间分析[131]，其中在图像平滑和图像分割中得到很好的应用，除此之外
并实现实时跟踪[132][133]，
他们将非刚体的跟踪问题近似为一个 Mean Shift 最优化问题，
同时文献[134]提出基于核（Kernel-based）的 Mean Shift 跟踪算法。G.R.Bradski 则将
Mean Shift 引入至目标跟踪算法中，提出了 CAMSHIFT （Continuously Adaptive Mean
Shift）的跟踪算法[135]。另外，Mark Fashing 和 Carlo Tomasi 提到均值迁移方法是一种
边界优化方法[136]。Mean Shift 算法凭借着只需分析特征空间下的样本点，并不需要任
何先验知识和收敛速度快等优点，被广泛应用于模式分类、图像分割、以及目标跟踪
等诸多计算机视觉研究领域。
Mean Shift 算法是一种最优的寻找概率密度极大值的梯度上升法，其基本思想为
通过反复迭代搜索特征空间中样本点最密集的区域，搜索点沿着样本点密度增加的方
向偏移到局部密度极大点。基于 Mean Shift 算法的目标跟踪技术首先采用核概率密度
来描述目标的特征，目标的直方图具有特征稳定、抗部分遮挡、计算方法简单和计算
量小的特点，因此一般采用直方图对目标进行建模，然后通过相似性度量，利用 Mean
Shift 搜寻目标位置，最终实现目标的匹配和跟踪。
基本 Mean Shift 算法的定义：
定义 1：给定 S 为 n 维欧氏空间 X 中的有限数据集合， K 为平核（flat kernel）
，即
在 X 中落入半径为 λ 的超球体的特征函数，其表达式如下：
⎪⎧1 if x ≤ λ
K ( x) = ⎨ （4-17）
⎪⎩0 if x > λ
在 x ∈ X 点的采样均值为：
90
∑ K ( s − x) s
m( x ) = s∈S
（4-18）
∑ K ( s − x)
s∈S
在 Fukunaga 和 Hostetler 文献[129]中 m( x) − x 被称为 Mean Shift。数据点采样均值

的不断重复移动过程被称为 Mean Shift 算法。在算法的一次迭代过程中，将符合 s ∈ S
的所有点移动至其采样均值 m( s) ，表示为 s ← m( s) 。
在 Fukunaga 提出的基本 Mean Shift 算法中，只能使用平核，即只要样本点落在 λ
超球体区域内，无论样本点是远还是近，对采样均值 m( x) 的贡献都是一样，但实际上
样本点在 λ 超球体区域内的不同位置对其统计特性的影响都不一样，YiZhong Cheng
对基本的 Mean Shift 算法进行了推广，给出新的定义，其定义如下：
定义 2：给定 X 为 n 为欧式空间，S ⊂ X 为 n 维欧氏空间的有限数据集合。定义 K
是一个核， w : S → (0, ∞) 是权值函数。使用核 K 在 x ∈ X 点的采样均值定义为：
∑ K (s − x)w(s)s
m( x ) = s∈S
（4-19）
∑ K (s − x)w(s)
s∈S
给定 T ⊂ X 是有限集合（聚类中心）
， T ← m(T ) 的迭代过程被称之为 Mean Shift
算法，其中 m(T ) = {m(t ); t ∈ T } 。对每个 t ∈ T ，迭代过程中的序列 t , m(t ), m(m(t )),… , 被
称之为 t 的移动轨迹。权值函数 w( s) 在迭代过程中可以保持不变也可以在每次迭代中
更新计算，当 T ← m(T ) 收敛到 m(T ) = T 迭代过程结束。当 T = S 时，Mean Shift 算法
被称为模糊（blurring）过程，扩展的 Mean Shift 算法可以使用非平的核，可以通过加
权函数对数据进行加权，使得 Mean Shift 算法的适用范围更加广泛。一维空间中的常
用核包括：均匀核、三角核、Epanechnikov 核、Biweight 核心、高斯（Gaussian）核、
Double Epanechnikov 核函数等，其核函数如下各式所示：
Epanechnikov 核：
⎧⎪1 − x 2
if x ≤ 1
K ( x) = ⎨ （4-20）
⎪⎩ 0 if x > 1
Biweight 核：
⎧⎪(1 − x 2 ) 2 if x ≤ 1
K ( x) = ⎨ （4-21）
⎪⎩ 0 if x > 1
高斯（Gaussian）核：
91
2
−x
G ( x) = e （4-22）
Mean Shift 的算法基本步骤为：（ 1 ）计算 m( x) ；（ 2 ） m( x) → x （ 3 ）若符合

m( x) − x < ε （ ε 为容差）
，迭代结束，若不符合继续重复执行（1）和（2）
。
上述步骤是不断的沿着概率密度的梯度方向移动，同时步长不仅与梯度的大小有
关，也与该点的概率密度有关，在密度大的地方，更接近最终要找的概率密度的峰值，
Mean Shift 算法使得移动的步长小一些，相反，在密度小的地方，移动的步长就大一
些。在满足一定条件下，Mean Shift 算法一定会收敛到该点附近的峰值，其收敛性的
证明这里不作详细说明。Mean Shift 算法本质上是一个自适应的梯度上升搜索峰值的
（1）聚类，数据集 { xi , i = 1,...n} 中的每一点都可以作为初始点，
方法，该算的应用有：
分别执行 Mean Shift 算法，收敛到同一个点算作一类；
（2）模态的检测，概率密度函
数中的一个峰值就是一个模态，Mean Shift 在峰值处收敛，自然可以找到该模态；
（3）
最优化计算，Mean Shift 可以找到峰值，自然可以作为最优化的方法，Mean Shift 算
法进行最优化的关键是要把最优化的目标转化成 Mean Shift 隐含估计的概率密度函
数。除此之外，Mean Shift 算法在许多领域获得了非常成功的应用。
4.4.3 基于 CAMSHIFT 算法的交通信号灯跟踪
智能车辆车载摄像机所采集的图像为连续的图像序列，在车辆自主行驶过程中，
目标在图像中的相对姿态、位置和大小不断地发生变化，而且会存在交通信号灯被前
方车辆部分遮挡的情况，为了防止出现误检测或跟踪丢失的现象，基于色彩直方图的
目标跟踪算法可以解决该问题。Bradski 提出的 CAMSHIFT 算法是以色彩直方图为目
标模式的目标跟踪算法，可以有效解决目标变形和遮挡的问题，而且运算效率较高。
本小节通过结合交通信号灯预处理及统计学习的识别方法解决 CAMSHIFT 算法对搜
索窗口的初始化问题，并且利用波门设置的方法缩短全局 HSV 彩色空间转换的处理
时间，提高系统车载实时实验的实时性。
CAMSHIFT 算法是对 Mean Shift 算法的一个改进，是一种通过寻找最大统计分布
来实现的鲁棒性统计方法，因为 CAMSHIFT 算法跟踪目标统计分布的中心和大小，
尽管它是一种非常快速而简单的跟踪方法，但它仅在目标的统计特性足够好时才有
效。因此在实际应中需要对跟踪目标进行相关特征统计，得到特征量的统计结果，然
后将搜索区域所有像素转换至具有统计特性的特征量空间，这样目标具有良好的相关
特征统计特性，不容易受背景环境和外界因素所干扰，从而能够很好的运用
92
CAMSHIFT 算法。本研究的交通信号灯在 HSV 彩色空间中具有良好的 H、S、V 特征

分量统计特性，前面小节对各种交通信号灯进行了完整详细的统计，因此在对交通信
号灯进行彩色分割预处理后，CAMSHIFT 算法将对其标记区域的色彩分量进行统计，
最后按照色彩分量概率分布进行跟踪，其算法流程如图 4.17 所示。
图 4.17 CAMSHIFT 跟踪算法流程
根据算法流程下面对 CAMSHIFT 跟踪过程中的重要和关键部分进行分析：

（1）色彩直方图与色彩概率分布图，首先将波门设置中的图像转化至 HSV 彩色
空间，然后对信号灯彩色分割后的区域设置目标区域，统计计算区域中目标区域的一
维色调分量直方图，最后获得计算区域的色彩概率分布图。
（2）Mean Shift 算法在 CAMSHIFT 跟踪中的计算：
a. 选择窗口 W 的大小为 s ；
b. 初始化窗口的中心点 pk ；
c. 计算窗口的均值位置，其计算如下；
93
1
pˆ k (W ) =
W
∑p
j∈W
j （4-23）
d. 调整窗口的中心至均值位置 pˆ k (W ) ；
e. 重复 c 和 d，直到窗口中心与均值位置汇聚在一起，即其距离小于预先设定的
范围。
（3）计算区域内色彩概率分布质心位置，其计算如下：
获取 0 阶矩：
M 00 = ∑∑ I ( x, y ) （4-24）
x y
获取 1 阶矩：
M 10 = ∑∑ xI ( x, y ) ； M 01 = ∑∑ yI ( x, y ) （4-25）
x y x y
获取色彩概率分布质心位置：
M 10 M
xc = ； yc = 01 （4-26）
M 00 M 00
上述各式中 I ( x, y ) 为 ( x, y ) 点的色彩概率值。
（4）CAMSHIFT 算法基本步骤：
a. 完成交通信号灯预处理与校验后设置波门，通过波门初始化搜索区域大小、位
置和 HSV 彩色空间转换区域；
b. 计算搜索窗口内色彩直方图与色彩概率分布图；
c. 运行 Mean Shift 算法，获得新的搜索窗口大小和位置；
d. 在下一帧采集图像中，以新的搜索窗口大小和位置重复步骤 b 继续运行。
e. 当跟踪丢失，如交通信号灯被完全遮挡或其灯号发生改变，跟踪标志取消，系
统需要重新对整幅图像进行预处理、校验和 CAMSHIFT 跟踪。
本章实验采用车载彩色摄像机进行实时的交通信号灯识别与跟踪实验，图像分辨
率采用 780×580，
处理计算机 CPU 为 1.8G 主频，
内存为 1G，
系统开发采用 Visual C++
2005 集成开发环境。
94
4.5.1 交通信号灯样本库的建立
目前，对交通信号灯识别跟踪的研究相对较少，也没有相关的数据库对各种识别
方法进行比较和评价，本章研究建立了交通信号灯的样本库，包括不同背景环境的交
通信号灯，不同种类的交通信号灯，不同安装方式的交通信号灯，不同角度采集的交
通信号灯，不同远近采集的交通信号灯，不同曝光时间采集的交通信号灯，采集图像
的大小为 780×580，主要从车载摄像机实时采集的图像序列中选取图片进行样本库的
丰富，一共采集 19665 幅图片，从中将所有图片样本进行分类，下面介绍该样本库的
样本大致情况。
按照不同背景环境来分类，可分为：背景环境简单，如天空背景，周边环境车辆
相对较少；背景环境复杂，如建筑背景，大树背景，周边环境车辆相对较多。按照不
同种类样式来分类，可分为：竖式交通信号灯，如竖式机动车交通信号灯、竖式左转
交通信号灯、竖式直行交通信号灯、竖式右转交通信号灯；横式交通信号灯，如横式
机动车交通信号灯、横式左转交通信号灯、横式直行交通信号灯、横式右转交通信号
灯。按照不同安装方式来分类，可分为：单臂悬挂式、双臂悬挂式、立柱式和挂壁式，
前三种安装方式主要为竖式交通信号灯，挂壁式交通信号灯通常挂在立交桥边缘，多
为横式交通信号灯。同时也按照不同曝光时间、不同角度和不同远近程度进行更细致
的人工分类，因为在车辆实时采集的时候在不同的车道行驶，从远至近的进行采集到
从小至大变化的信号灯。
除此之外，通过自行编写的样本标定软件对所有图片进行人工标定，将整个交通
信号灯从图中提取，生成原始格式（没进行扩展处理）的脚本文件如下所示：
Raw00002.jpg 1 442 59 18 42
Raw01438.jpg 1 383 38 25 62
Raw03818.jpg 1 443 111 15 38
Raw04625.jpg 1 424 49 22 53
Raw05473.jpg 1 185 67 30 76
Raw16116.jpg 1 394 88 21 48
……
脚本文件各位格式为文件名、提取的样本数、交通信号灯的左上起始行像素位置、
交通信号灯的左上起始列像素位置、交通信号灯的宽度、交通信号灯的高度，再通过
标定软件对其原始文件格式进行指定大小的扩展处理，其扩展脚本文件如下：
95
Raw00002.jpg 1 433 55 36 50
Raw01438.jpg 1 371 32 50 74
Raw03818.jpg 1 436 108 30 45
Raw04625.jpg 1 413 44 44 63
Raw05473.jpg 1 170 60 60 91
Raw16116.jpg 1 384 84 42 57
……
最后将脚本文件送入训练统计系统进行指定参数的 Haar-like 特征训练，训练参数
如上面 4.3.5 小节的表 4.3 所示，其训练过程为将多个弱分类器组成一个强分类器的过
程，最后利用输出的分类器在预处理后的感兴趣区域中搜索得到检测结果。
4.5.2 交通信号灯检测与识别实验
实验采用训练完成的竖式交通信号灯分类器对多个路口的图像序列进行检测，选
取四个不同的交叉路口对交通信号灯检测算法进行验证，路口 1 与路口 2 为较大型交
叉路口且有方向信号灯，路口 3 和路口 4 为较小型交叉路口只有机动车信号灯，前两
个路口由于距离较远其成像效果较差，其检测率较后两个路口的低，且虚警率稍高，
虚警率的高低取决于外界干扰与目标样本的灰度变化相似度，其检测结果数据如表
4.4 所示。
表 4.4 部分路口信号灯检测结果
序号目标数准确检测（TP）虚警数（FN）查准率查全率
路口 1 342 312 21 91.23% 93.69%
路口 2 336 301 18 89.58% 94.36%
路口 3 241 228 12 94.61% 95.00%
路口 4 155 148 7 95.48% 95.48%
4 个路口 1074 989 58 92.09% 94.46%
下面对准确检测目标后的信号灯识别方法进行验证，通过计算面积归一化值与位
置先验知识判断识别的正确性，由于机动车信号灯发光单元面积大，其准确检测定位
后的识别率高，而方向信号灯发光单元面积小，加上信号灯刷新率的影响，其准确检
测定位后的识别率较机动车信号灯低，其识别结果如表 4.5 所示，部分信号灯识别结
果如图 4.18 所示。
96
表 4.5 信号灯识别结果
序号目标准确检测数准确识别数准确识别率
路口 1 312 309 99.04%
路口 2 301 297 98.67%
路口 3 228 228 100%
路口 4 148 148 100%
4 个路口 989 982 99.29%
（a）红灯识别结果（b）绿灯识别结果（c）组合灯识别结果

图 4.18 部分交通信号灯识别结果
4.5.3 交通信号灯跟踪实验
跟踪实验部分由波门跟踪与 CAMSHIFT 跟踪实验组成。

（1）波门跟踪缩小了下一帧的搜索区域，缩短其跟踪处理时间。如图 4.19 所示
为波门跟踪结果，图中白色框为当前帧为下一帧设置的波门，蓝色框为当前帧的检测
搜索区域，即上一帧所设置的波门。
（a）第 3748 帧（b）第 3753 帧（c）第 3759 帧
（d）第 3766 帧（e）第 3772 帧（f）第 3775 帧

图 4.19 波门跟踪算法实验（某丁路口数据）
97
（2）基于 CAMSHIFT 的信号灯跟踪实验如图 4.20 所示，图 4.20 为检测跟踪序

列中的相隔 5 帧检测跟踪后抽取出来的实验图片序列，其中第 6774 帧后 ID2 目标不
在图像中，ID2 目标丢失。随后车辆继续前进，第 6802 帧后 ID1 目标也丢失，重新
对图像进行预处理检测及识别，重新寻找目标。另外，在实际实验过程中，由于交通
信号灯存在刷新频率，识别跟踪过程中信号灯的亮度会不断变化，但没导致目标跟踪
丢失，获得良好的实验效果。
（a）第 6725 帧（b）第 6730 帧（c）第 6735 帧
（d）第 6740 帧（e）第 6745 帧（f）第 6750 帧
（g）第 6755 帧（h）第 6760 帧（i）第 6765 帧
（j）第 6770 帧（k）第 6775 帧（l）第 6780 帧
98
（m）第 6785 帧（n）第 6790 帧（o）第 6795 帧

图 4.20 CAMSHIFT 跟踪实验
4.5.4 综合实验
完成检测识别与跟踪实验的算法验证和检测统计后，下面对整体处理算法进行实
验验证。在实车实验过程中，连续 3 帧检测到目标后确认目标存在，并将其定位和识
别信息转移至跟踪模块。当检测目标被完全遮挡时，其跟踪区域的连通域面积为 0，
连续 3 帧后认为跟踪目标丢失。当信号灯灯色变化时需要根据灯色变换时序（红→绿
→绿闪→黄→红）进行目标感兴趣区域的重新搜索。
（a）第 8193 帧红灯彩色分割（b）第 8193 帧区域标记
（c）第 8193 帧校验（d）第 8194 帧校验（e）第 8195 帧校验

图 4.21 交通信号灯检测与识别阶段
综合实验分为识别阶段，跟踪阶段和灯色转变识别跟踪阶段。如图 4.21 所示为交

通信号灯检测与识别阶段，首先进行红黄绿的彩色分割，如图 4.21（a）所示为第 8193
帧根据红灯阈值彩色分割的结果。然后去噪得到标记区域产生感兴趣区域，如图 4.21
99
（b）所示为去噪后产生的 3 个感兴趣区域，由于汽车刹车灯与红灯的色彩阈值极为
相像，因此引入了汽车刹车灯的干扰。最后利用信号灯分类器分别在这 3 个感兴趣区
域中进行目标检测，可以有效地将汽车刹车灯干扰消除，计算连通区域面积与检测区
域面积的比值，确定检测目标为机动车信号灯。第 8194 帧和第 8195 帧按照上述方法
进行检测后，连续的 3 帧检测结果确定了目标为竖式机动车信号灯且为红灯。
（a）第 8196 帧跟踪结果（b）第 8197 帧跟踪结果（c）第 8198 帧跟踪结果
（d）第 8227 帧跟踪结果（e）跟踪轨迹

图 4.22 交通信号灯跟踪实验
如图 4.22 所示为交通信号灯的跟踪过程，图中白色矩形框为 CAMSHIFT 跟踪的

计算区域，红色矩形框为目标区域，图 4.22（e）中蓝色线为跟踪轨迹，当车辆停车
等候过程中，其跟踪区域稳定。
如图 4.23 所示为信号灯灯色变化过程的识别跟踪实验，当连续三帧跟踪中红灯连
通区域面积为 0 时，认为目标跟踪丢失，需要对目标计算区域进行重新检测。如图 4.23
（a）所示为红灯的最后一帧，图 4.23（c）为绿灯预处理结果，其中区域 2 为下一个
路口的绿灯，区域 2、3 没有被校验检测，图 4.23（d）
（e）
（f）为后续帧的跟踪结果。
在实验过程中发现，不同的路口初次稳定检测到交通信号灯存在的起始距离存在
一定的差别，一旦检测为目标，通过跟踪算法即可稳定获取目标属性，方向信号灯的
起始检测距离比机动车信号灯平均短约 10m。由于成像清晰度的影响，基本上在目标
宽度为 25~40 个像素才能开始稳定地检测到目标。初始检测处理时间存在一定差异，
当稳定检测目标较小时，特征计算量小，处理时间短，反之处理时间长。
100
（a）第 8379 帧跟踪结果（b）第 8380~8382 帧跟踪丢失（c）第 8383 帧绿灯预处理
（d）第 8383 帧重新检测（e）第 8445 帧跟踪（f）第 8459 帧跟踪

图 4.23 交通信号灯灯色变化过程的识别跟踪实验
在实际实验中，对交通信号灯识别与跟踪的处理时间会与总多因素相关，如计算
机处理速度，待识别目标大小，噪声干扰数量的多少等方面，通过对多组交叉路口的
识别与跟踪实验，统计得到大致的单帧处理时间包括：预处理平均时间为 28ms，感
兴趣区域的 AdaBoost 算法检测平均处理时间为 8ms，CAMSHIFT 跟踪算法平均时间
为 10ms。
在“智能车未来挑战赛”中，本章的研究成果应用至比赛中，完成了交通信号灯
识别与跟踪任务，将识别跟踪结果通过 CAN 总线通讯网络按照制定协议发送，在无
人驾驶的情况下实现了车辆自主引导。利用相同架构的算法对模块参数进行调整后完
成“智能车未来挑战赛”中对交通标志检测识别的扩展，包括禁止驶入、禁止右转、
环岛标志、行人标志等检测。
4.6 本章小结
本章介绍了交通信号灯的基本规则，对在实际应用中遇到的交通信号灯识别研究
关键问题进行展开。建立交通信号灯识别系统的系统结构，选择合适的彩色空间并进
行 HSV 彩色空间的转换，对交通信号灯在彩色空间中的各分量进行统计分析，根据
统计结果得到分割阈值完成彩色分割，利用形态学完成彩色分割后的噪声处理，对候
选的连通区域进行标记。建立不同环境和不同样式的交通信号灯样本库，利用机器学
101
习的方法完成校验阶段的工作，该方法具有良好的适应性和鲁棒性，在复杂的行驶环
境中可以去除汽车刹车灯、广告灯牌等干扰。为提高交通信号灯的识别稳定性和实时
性，系统加入了跟踪部分，对波门跟踪和基于 CAMSHIFT 算法跟踪进行了研究，并
利用信号灯的灯色变换时序（红→绿→绿闪→黄→红）进行信号灯变色跟踪，最终通
过实车实验和“智能车未来挑战赛”实现车辆的自动引导，验证了算法的可行性和准
确性。
102
5 基于 CAN 总线通信网络的智能车辆控制系统
随着汽车电子技术的蓬勃发展，汽车电控单元和汽车网络系统在现代车辆中得到
了广泛的应用，使智能车辆通过环境感知模块和规划决策模块来实现车体控制提供良
好的研究平台，车载网络系统是联系上层环境感知规划决策系统与底层控制系统的重
要枢纽。本章内容详细讲述了系统平台各个层次的构成和关联，以及对基于 CAN 总
线的智能车辆车载控制网络系统进行设计。另外参加了 2009 年在西安举办的中国首
届 “ 智能车未来挑战赛 ”（ The Future Challenge: Intelligent Vehicle and beyond
（FC'09）
），通过现场实验验证了其系统结构和基于 CAN 总线的车辆控制通信网络的
可行性，并最终获得良好的成绩。
5.1 车载 CAN 总线通信网络
5.1.1 车载网络系统概述
早在 20 世纪 60 年代末期，车载网络技术已经开始研究，但由于技术和成本等问
题的限制，直到 20 世纪 90 年代才开始真正快速发展。在早期的车载网络系统中，通
用的车载网络标准和协议并没有得到广泛的认同和应用，通常汽车制造商利用制定的
电路和异步收发器来实现简单的串行通信，因此导致相同类型的产品之间不能通用。
20 世纪 80 年代，计算机局域网技术得到了实用化的发展，为车载网络技术的发
展提供了成熟的基础。在汽车网络技术中，其设计目标、网络拓扑结构以及通讯协议
等都与计算机网络技术有许多相似之处，另外集成电路技术功率驱动器件的发展也同
时推动了汽车网络技术的发展，使汽车网络技术的广泛应用成为现实。各国著名汽车
制造商和零部件供应商开始致力于汽车网络技术的研究与应用，其中基于 CAN 总线
的网络与其它网络相比具有极高的可靠性、良好的实时性、突出的灵活性和优良的性
能价格比[137]。CAN 总线是德国博世（Bosch）公司于 80 年代初为了解决现代汽车中
众多传感器与执行装置之间的数据交换而开发的一种串行通信协议[138]。目前，CAN
总线网络已经成为几乎所有汽车生产厂商都采用的控制器联网手段[139]。除此之外，
在汽车电子系统中，根据成本和传输速度的不同，主要还有如图 5.1 所示的几种车载
网络协议，其中 LIN 主要应用在低速的车身控制环境， CAN-B 和 CAN-C 多用于事
件驱动的车辆控制，Flexray 和 Byteflight 主要应用于时间驱动的同步高速控制环境，
103
而 MOST 主要应用于汽车娱乐的传输和控制，1394 总线则用于有更高的传输速度要

求的车载信息系统。
图 5.1 各种车载网络协议速率比较
5.1.2 SAE J1939 协议
CAN 总线的应用范围除了汽车行业外，还应用于智能楼宇、自动控制、航海、
航空航天、过程工业、纺织机械、机械工业、农用机械、数控机床、机器人、医疗器
械及传感器等领域，在不同领域应用中，都在 CAN 基本协议的基础上按照各个行业
的需要制定相应的应用协议或标准。典型的 CAN 总线高层协议有：SAE J1939、ISO
11783、CAN open、CAN aerospace、Device Net、NMEA 2000、Wesy CAN 等[140]。其
中 SAE J1939 标准[143]为美国汽车工程师协会于 1994 年 12 月制定并发布的车辆控制
系统总线串行通信和控制协议。这个标准为车辆上各传感器、执行器和控制器提供了
建立在 CAN 总线之上的标准化的高速网络连接，使得不同厂商生产的部件可以使用
统一的通用方式实现数据共享。SAE 根据技术发展和应用状况不定期的对该标准进行
更新，目前版本的 SAE J1939 标准共由 10 个子标准组成[144]。
表 5.1 SAE J1939 标准的组成

子标准号子标准名称子标准内容
给出本标准的通信结构，概括介绍各子标准，在附
车辆网络串行通信和控
J1939 录中列出参数组号（PGN）、源地址（SA）和故障
制总标准
诊断代码（DTC）的编码定义。
路面设备控制和通信网
J1939/01 区别本网络与其他 CAN 应用网络的特性。
络子标准
104
规定了本网络硬件应符合的标准，给出了网络最高
J1939/11 物理层子标准通信速率为 250kb/s，最多节点数为 30，总线最大
长度为 40 米等物理层特性和网络电气特性。
非随车诊断设备接口子定义除车辆自诊断设备外其他诊断设备的接口格
J1939/13
标准式。
规定了本网络采用 CAN 29 位扩展帧格式进行数据
J1939/21 数据链路层子标准传输，采用基于优先权的总线仲裁方式，采用循环
冗余校验检测错误等实现数据传输的要求。
J1939/31 网络层子标准规定了不同网络之间的相互连接。
规定了车辆控制诸参数的数据格式，包括：参数数
J1939/71 车辆应用层子标准据长度、分辨率、范围及类型、参数组号、刷新率、
默认优先权、数据场各位的含义等。
主要针对排放诊断要求，规定了 12 个诊断结果信
J1939/73 应用层诊断子标准
息，附录中出了 3 种错误模式标识符的定义。
应用层设置及工业化子
J1939/75 规定了应用层的修订以及应用的程序。
标准
J1939/81 网络管理子标准规定了连接在网络上的 ECU 的命名方法。
在表 5.1 的 SAE J1939 标准中，定义物理层、数据链路层和应用层标准最为重要，

用户通过这三个子标准的协议可以构建基本的网络，下面简单介绍这三个子标准的主
要内容。
（1）物理层定义，该层的子标准号为 SAE J1939/11，其目的是为了实现网络中
的电子单元的物理连接，给出了组成网络的硬件应满足的电气特性和其他物理特性。
（2）数据链路层定义，该层的子标准号为 SAE J1939/21，其目的是为了提供通
过物理连接的可靠的数据传输，数据传输过程包括使用同步、顺序控制、差错控制和
流控制来发送 CAN 数据帧。
（3）应用层定义，该层的子标准号为 SAE J1939/71，其目的是提供应用程序与
外界环境中其他开放式系统互连的方法，该层的子标准定义了车辆控制领域所涉及参
数的种类、意义、分组、添加和传输，是 SAE J1939 标准区别于应用于其他领域地
CAN 高层协议的重要文档。
目前 SAE J1939 标准已成为世界各大汽车零部件制造商和汽车公司的重要通信标
准，SAE J1939 标准的颁布对汽车工业的发展具有重大意义，使车辆电子控制能够实
现一体化，同时可以有效的进行发动机控制管理、变速器控制管理、制动控制管理等，
使车辆实现智能控制和管理。另外，统一的通讯标准能够有效地减少通信线束，使车
辆控制实现网络化、集成化、模块化，同时也增加了系统部件的互换性。
105
5.2 智能车辆系统结构
本章对智能车辆的体系结构进行构建和分析，并建立环境感知规划决策与车辆底
层控制之间的通信协议。本课题研究采用的智能车辆平台为丰田陆地巡洋舰，如图 5.3
所示，其整车基本参数如表 5.2 所示，首先需要对该实验平台进行无人化改造，实验
平台的系统结构需在改造基础上进行搭建，其系统结构如图 5.2 所示。该体系结构主
要包括：环境感知与规划决策部分、底层控制部分、车辆数据采集部分、危险应急部
分、总线通信部分和预留功能部分。其中环境感知和规划决策部分主要有环境感知传
感器、信息处理系统和规划决策系统；底层控制部分有纵向控制系统、横向控制控制
系统和换档控制系统，车辆数据采集部分有前轮偏角、轮速和换档位置采集。
图 5.2 智能车辆系统结构
表 5.2 智能车辆平台的整车基本参数（mm）
总长总宽总高轮距轴距最小转弯直径
5080 1940 1890 1620 2850 11800
5.2.1 环境感知模块
环境感知模块在本研究系统中主要分为全局环境感知和局部环境感知。全局环境
感知传感器在本系统平台中主要包括差分 GPS 和惯性导航系统，它们可以获得车辆在
全局地图的位置和姿态，用于完成全局路径规划和决策，即根据已知的全局地图规划
行驶任务的起始点、终点和粗略的车辆行驶方向；局部环境感知传感器在本系统平台
中主要包括二维激光雷达与摄像机，它们可以获得车辆目前状态的局部环境信息，用
106
于车辆当前时刻局部路径规划和决策，局部路径规划和决策会随着车辆的行驶和时间
的变化而实时改变。局部环境感知可以在全局环境感知中更加精确的获得车辆环境信
息，从而实现精确的车辆引导，其主要功能有：车辆可行驶道路区域的检测和车辆航
向输出，外界交通信号识别，车辆周围障碍物检测与相对距离位置的输出等。本系统
具体的各个传感器位置如图 5.3 所示，其中惯性导航系统在驾驶室内，图中并未标注。
激光雷达与机器视觉系统采用车前保险杠位置的激光雷达和车辆顶右的摄像机。
绿色——二维激光雷达；红色——摄像机；蓝色——差分 GPS
图 5.3 智能车辆环境感知传感器
二维激光雷达与摄像机的处理都是通过局部环境感知计算机完成，而差分 GPS
与惯性导航系统的数据处理在规划决策计算机中完成。局部环境感知既可以通过以太
网的方式将局部环境信息传送至规划决策计算机再完成综合的车体控制，同时局部环
境感知处理结果也可以通过 CAN 总线对车辆进行必要的干预控制或对驾驶员提供辅
助驾驶信息，增加了作为实验平台的灵活性和扩展性。
5.2.2 规划决策模块
系统规划决策模块对处理后的有效环境感知信息、车体当前位姿位置、路径信息
和车辆数据采集信息进行规划决策，通过 CAN 总线发送速度指令、航向指令和对车
辆航向、车辆速度实现控制，从而完成车辆自动引导。
由图 5.4 可以看到该实验平台的各个处理系统组成部分，该系统的规划决策模块
主要针对全局路径任务完成车辆的实时全局路径规划，并根据 GPS/DR 组合定位和全
局路径规划算法给出全局最优行驶路线，而局部环境感知传感器和局部路径规划算法
相结合完成局部最优行驶路线，其中局部路径规划算法需要考虑外界环境的随机情况
107
进行修正，如遇到交通信号灯需要进行判断，遇到障碍物需要跟随还是绕行超越等。
在车辆行驶的过程中，车辆行驶安全因素是最为重要的，面对复杂的行驶环境，路径
规划要综合考虑路程、时间、安全性、隐蔽性和机动性等指标，因此规划决策模块的
任务为通过路径规划算法获取全局和局部的最佳行驶路线。
图 5.4 智能车辆各部分处理系统
5.2.3 车辆底层控制模块
车辆底层控制模块是智能车辆系统的最基本模块，也是无人化改造中最基本的工
作，其主要包括车辆控制传感器系统和车辆控制执行系统。由于该实验平台的车辆总
线系统并不对外开放，不能通过车辆本身总线进行数据采集和控制，轮速与前轮偏角
是通过加装传感器的方式进行获取，其安装如图 5.5 所示。轮速传感器安装在动力传
动总成分动器输出轴上，为图 5.5（a）红色区域，齿盘固定到分动器输出轴圆盘上，
并把霍尔传感器安装到正对着齿盘的地方。前轮偏角传感器安装在前轮主销销轴处，
为图 5.5（b）红色区域，车轮转动时拉动传感器拉杆绕着传感器中心转动，标定后测
量车轮转动角度。
（a）轮速传感器（b）前轮偏角传感器
图 5.5 智能车辆车体控制
108
控制执行机构也需要进行相应的改造来完成，改造包括油门控制机构、制动控制
机构、转向控制机构和换档控制机构，都为外加执行机构完成控制任务，如图 5.6 所
示。系统的车速控制系统以期望车速为目标，利用电机拉索结构控制油门踏板和制动
踏板来控制车速稳定到目标值。可以完成车辆跟踪/跟随，根据前方车辆的车速以及与
前方车辆的相对距离信息和安全距离模型进行车速控制，使车辆在危险工况下避免与
前方车辆发生碰撞。而转向控制系统则是根据前方道路信息和车辆动力学特性，输出
前轮偏角的值，使车辆保证操纵稳定性和平顺性。换档执行控制的主要功能是根据车
辆行驶的需要，控制车辆的换档手柄挂到 R 档或 D 档，使得车辆能够实现入库停车
或出库等功能。
（a）油门（红）与制动（绿）控制执行机构（b）转向控制执行机构
图 5.6 车体控制执行机构
5.3 CAN 总线在智能车辆控制中的应用
智能车辆系统是一个集成的系统，一方面，它需要大量的车辆行驶状态信息和车
辆行驶环境信息；另一方面又需要对油门、制动、转向和档位实现协调控制。因而将
CAN 总线结构应用于智能车辆系统中具有重要的意义，这主要体现在以下几个方面：
（1）对系统平台上的车辆行驶状态信息和车辆行驶环境信息实现信息共享。无
论是改装后的外加传感器还是车辆本身开放接口的传感器信息，都可以作为 CAN 总
线的一个节点而进行信息交互，为车辆的纵向控制、横向控制和紧急控制提供丰富的
状态信息，也可以提供良好的人机交互界面实时监控智能车辆行驶状况，另外更能方
便系统的数据采集、故障诊断和分析。
（2）通过各底层部件协调控制，可以有效地保证车辆操纵稳定性和行驶平顺性。
智能车辆底层控制最理想的控制方式为采用 x-by-wire 的方式对车辆进行线控操作，
采用 CAN 总线来进行电控油门控制，电控制动控制和电控转向控制，有效地减少系
109
统复杂度，增强系统的鲁棒性。搭建改装部件的 CAN 总线网络可以使各个加装电控

系统与车辆本身系统实现协调控制和统一的数据采集，与车辆本身的通信接口一致无
疑提高了其兼容性和扩展性，也可以对各个加装的电控系统进行故障监控，接近其最
理想的控制效果。
（3）基于 CAN 总线的通信和控制可以提高车辆在不同环境下的可靠性，由于总
线型网络容错性好，单个节点故障不会使整个网络无法工作，从而可以使系统获得高
的可靠性。
通过对上述对 CAN 总线在智能车辆控制中应用意义的分析，CAN 总线的控制方
式适合遵循 SAE J1939 标准的系统平台，也适用于经过无人化改造的系统平台。因此，
下面将围绕在本系统基础上搭建 CAN 总线结构、定义整车通信协议和 CAN 总线的软
硬件设计进行展开。
5.3.1 智能车辆中的 CAN 总线结构
从图 5.2 可以看到，系统的通信网络由局部环境感知系统节点、规划决策系统节
点、紧急停车系统节点、纵向控制系统节点、横向控制系统节点、换档控制系统节点
和车辆信息传感器系统节点组成。各个节点通过 CAN 总线有机的联结在一起，可以
使各个节点间实现数据共享。随着控制系统的增加或改造，增加或更改的控制系统只
需挂接在总线上即可，对整个网络结构的改动较小，可以更加容易的控制车辆的各部
件，也更加便于扩展系统的功能，CAN 总线结构如图 5.7 所示。
CAN
CAN
CAN CAN CAN CAN
CAN CAN CAN CAN R

ECU ECU ECU ECU D
1 2
( ) ( )
图 5.7 智能车辆系统 CAN 总线结构
系统的传输介质采用双绞线，各 ECU 选用低成本的 MC68HC908GZ16 微处理器，

该单片机集成 CAN 控制器，拥有 3 个发送缓冲区和 1 个接收缓冲区，提供总线的差
110
动发送和接收能力，最高传输速率可达 1MbPs，有较强的抗干扰能力，CAN 收发器

则选用 PCA82C250，各控制 ECU 单独控制其控制系统，相互之间的协调由上层计算
机处理。
5.3.2 智能车辆中的 CAN 总线通信协议
智能车辆系统中不同车辆控制装置之间的通信是通过报文的形式在 CAN 总线上

传输，报文格式应符合 CAN 协议的要求，CAN2.0 协议定义了两种帧格式：标准帧和
扩展帧，其报文格式分别如图 5.8 和 5.9 所示。
图 5.8 CAN 标准帧格式
CAN
150
32 6
1 0
1 11 1 1 18 1 1 1 4 0-64 15 1 2 7
图 5.9 CAN 扩展帧格式
标准帧和扩展帧的主要区别在于仲裁场中标识位，标准帧的仲裁场中标识符为 11
位，扩展帧的仲裁场中标识符为 29 位。CAN2.0 协议的兼容性表明了这两种报文格式
可以在同一网络中出现，但必须使用能够辨别帧种类的位代码。SAE J1939 标准也允
许这两种 CAN 数据帧格式，但它仅定义了使用扩展帧格式进行标准化通信的唯一策
111
略，其所有的标准帧格式报文均遵循标准中定义的规则。因此，SAE J1939 标准中的

设备必须使用 CAN 扩展帧格式。CAN 标准帧格式报文只能在标准中所描述的网络下
存在。SAE J1939 标准已经进一步对 CAN 数据帧格式的仲裁场中的每一标识符进行
了定义，如图 5.10 所示。
图 5.10 SAE J1939 标准对 CAN 扩展帧标识符的定义
CAN 扩展帧报文（SAE J1939 标准帧报文）（PDU）

包含一个单独的协议数据单元。
PDU 由 7 个预定义场组成，如表 5.2 所示。它们分别为优先权（P）
、保留位（R）
、数
据页（DP）、协议数据单元格式（PF）
、协议数据单元特性（PS）
、源地址（SA）和数
据场。CAN 扩展数据帧中的部分场完全由 CAN 规范定义，不能被 SAEJ1939 标准修
改，因此这些场不在协议数据单元定义的范围之内，包括：帧起始、替代远程请求
（SRR）、标识符扩展位（IDE）、远程传输请求、控制场的某些部分、循环冗余校验
场、应答场和帧结束。另外，一些参数组定义需要使用多个 CAN 数据帧来传送其信
息，此时需要将数据进行拆分传输。
表 5.2 SAE J1939 标准协议数据单元格式

SAE J1939 标准协议数据单元
优先权保留位数据页协议数据单元格式协议数据单元特性源地址数据场
3位 1位 1位 8位 8位 8位 0-64 位
下面介绍协议数据单元（PDU）的各个场定义：
（1）优先权（P），这三位仅用于优化报文经总线传输的等待时间。它们应被接
收器完全忽略。任意报文的优先权可以在最高值 0 和最低值 7 之间设置。报文的优先
权可以升高或降低，因此优先权场应该是可以再经程序编辑的。
（2）保留位（R）
，该位由 SAE 保留，留待将来使用。这一保留位与 CAN 保留
位不同。所有报文传送时应将 SAE 保留位设置为 0。
112
（3）数据页（DP）
，用于区别参数组，参数组号首先充满第零页，然后再向第一
页分派，目前被设为 0，当页面 0 中的所有参数组号均被定义后才可使用页面 1。
（4）协议数据单元格式（PF）
，协议数据单元格式是一个 8 位场，它定义了两种
协议数据格式：格式 1 和格式 2，也用于决定向数据场分配参数组号。当 PF<240 时
表示格式 1，CAN 数据帧的发送方向为一个特定的目的地址，用于向特定目标发送参
数组。当 PF≥240 时表示格式 2，PDU2 格式仅能用于无特定目的地址的 CAN 数据帧
通信，用于将参数组作为广域报文传送。这是利用了 CAN 标识符的过滤功能。
（5）协议数据单元特性（PS）
，根据协议数据单元格式（PF）定义。如果 PF<240，
。如果 PF≥240，
那么协议数据单元特性场是目标地址（即需要接收报文的节点的地址）
那么协议数据单元特性场包括一个组扩展值（即报文作为广域报文发送）。这样做的
目的是为了防止在标识符的使用中出现冲突，从而可以实现标准化的专用通信。
（6）源地址（SA），源地址域的长度是 8 位。网络中的一个设备应该有一个给
定的源地址，源地址也保证按照 CAN 的要求每一个 CAN 标识符都是唯一的。源地址
管理和分配在总标准及 SAE J1939/81 标准中定义。
（7）数据场，对于长度小于 8 字节的某一参数组的数据，直接使用单个 CAN
数据帧的 8 字节数据场。对于长度在 9 到 1785 字节之间的数据，则需要通过多个
CAN 数据帧来完成数据传输，这时为保证数据正确拆分和重组，数据场的第一字节
将用于表示数据帧的序列号。
每个报文都有自己的标识符，其中报文控制寄存器用来定义信息报文是否产生中
断请求、报文是否合法、信息报文的收发状态以及帧的发送、接收成功与否等，仲裁
寄存器用来接收报文的筛选和定义送出报文的标识码。报文配置寄存器用来定义数据
长度、报文方向和标识符特性等内容。而且 CAN 总线进行系统通信协调的需要遵循
以下的基本规则：
（1）总线访问，CAN 控制器只能在总线空闲状态期间开始发送，所有 CAN 控
制器同步于帧起始的前沿（硬同步）
；
（2）仲裁，若有两个或更多的 CAN 控制器同时发送，则产生总线访问冲突，通
过仲裁场发送期间位仲裁方法予以解决；
（3）编码 P 解码，帧起始、仲裁场、控制场、数据场和 CRC 序列使用位填充技
术进行编码；
（4）出错标注，当检测到位错误、填充错误、形式错误和应答错误时，检测出
113
错条件的 CAN 控制器将发送一个出错标志；

（5）超载标注，一些 CAN 控制器发送一个或多个超载帧以延迟下一个数据帧或
远程帧的发送。
本节将根据上述的 CAN 扩展帧标识符定义及其协议数据单元定义对智能车辆的
车辆底层控制部分和与本研究相关的环境感知部分制定相关通信协议，确定其不同控
制量和采集量的标识符、数据场中各位所代表的内容和刷新率。制定总线通信协议为
了以建立整车总线网络通信一体化，实现各节点之间的网络通信，从而使整个智能车
辆系统的数据实现信息共享、控制管理优化和故障检测，其详细协议及参数设置如表
5.3-表 5.6 所示。
表 5.3 车辆底层控制协议及参数设置
标识符
参数名称数据场刷新率
P R DP PF PS SA
3 0 0 240 111 254 速度控制量
纵向控制 20ms
0x0CF06FFE 由高 8 位和低 8 位两字节组成
3 0 0 240 1 19 航向控制量
横向控制 20ms
0x0CF00113 由高 8 位和低 8 位两字节组成
6 0 0 240 4 03 换档控制量
档位控制 100ms
0x18F00403 0：N 档；1：D 档；2：R 档
0 0 0 240 1 11 紧急制动开关量
紧急制动中断
0x00F0010B 0：正常；1：紧急制动
6 0 0 254 191 11 输出轴转速转换为轮速发送
轮速 20ms
0x18FEBF0B 由两个高 8 位和低 8 位组成，校验位
左前轮 6 0 0 240 1 20
由两个高 8 位和低 8 位组成，校验位 20ms
偏角 0x18F00114
右前轮 6 0 0 240 2 20
由两个高 8 位和低 8 位组成，校验位 20ms
偏角 0x18F00214
6 0 0 240 5 03 档位位置量
档位信息 100ms
0x18F00503 0：N 档；1：D 档；2：R 档
纵向控制和横向控制数据场的第 1 和第 2 个字节为速度和航向控制量的高 8 位和
低 8 位数据；档位控制其数据场第 1 字节为不同档位的控制，0 为 N 档，1 为 D 档，
2 为 R 档；紧急制动数据场第 1 字节为紧急制动控制，0 为正常状态，1 为紧急制动
控制；轮速、左前轮偏角和右前轮偏角数据场第 1 和第 2 字节为采集量的高 8 位和低
8 位数据，第 8 字节为校验位；档位信息数据场第 1 字节为档位位置量，0 为 N 档，1
为 D 档，2 为 R 档。
114
表 5.4 交通信号灯识别协议及参数设置
标识符
P R DP PF PS SA
交通 3 0 0 240 1 254 由信号灯数量和各信号灯灯号组成，校
50ms
信号灯 0x0CF001FE 验位
交通信号灯识别数据场第 1 字节为检测到交通信号灯的数量，最大数量为 6 个，
分别对应第 2 到第 7 字节，其中每字节的高 4 位为灯号的灯色，0 为绿灯，1 为黄灯，
2 为红灯，其低 4 位为灯号的类别，0 为机动车信号灯，1 为左转，2 为直行，3 为右
转，第 8 字节为校验位。
表 5.5 车辆检测协议及参数设置 1
标识符
P R DP PF PS SA
车辆 3 0 0 240 2-9 254 前方车辆 x 和 y 向距离（各 16 位）
，校
50ms
1-8 0x0CF002FE~0x0CF009FE 验位
车辆检测第 1 个协议的数据场为检测到的前方车辆 x 和 y 向距离，第 1 和第 2 字

节为 x 向距离高低 8 位，第 5 字节为其危险系数，第 8 字节为校验位。
表 5.6 车辆检测协议及参数设置 2
标识符
P R DP PF PS SA
车辆 3 0 0 240 10-17 254 前方车辆 x 和 y 向相对速度（各 16 位），
50ms
1-8 0x0CF00AFE~0x0CF011FE x 和 y 向相对加速度（各 8 位），校验位
车辆检测第 2 个协议的数据场为检测到的前方车辆 x 和 y 向相对速度和相对加速

度，第 1 和第 2 字节为 x 向相对速度高低 8 位，第 3 和第 4 字节为 y 向相对速度高低
8 位，第 5 字节为 x 向相对加速度，第 6 字节为 y 向相对加速度，第 8 字节为校验位。
5.3.3 基于 CAN 总线的智能车辆软硬件设计
（1）硬件设计
CAN 总线通信接口中集成了 CAN 协议的物理层和数据链路层功能，可完成对通
信数据的成帧处理，包括位填充、数据块编码、循环冗余检验、优先级判别等项工作。
MC68HC908GZ16 微控制器内有 1 个独立的 CAN 控制器，CAN 控制器有两个管脚与
115
外部相连（CANRX 与 CANTX）
，这两个引脚分别与 CAN 收发器 PCA82C250 的 RXD
和 TXD 相连，各 ECU 的 CAN 收发器外围电路如图 5.11 所示。
VCC
C1 CAN
100pF 3 1 CANTX
VCC TXD
4 CANRX
RXD
5
Vref
C3
CANH 7 8 Rext 30pF
C2 CANH Rs
R1
124 100pF CANL 6 2
CANL GND
PCA82C250
图 5.11 CAN 收发器外围电路
其中，TXD 是发送数据输入引脚，RXD 是接收数据输出引脚，CANH 是高电平

CAN 电压输入/输出引脚，CANL 是低电平 CAN 电压输入/输出引脚，Rs 是坡度电阻
输入引脚，用于选择 PCA82C250 的工作模式。Rs 引脚的不同配置可以得到三种不同
的操作模式：高速、斜率控制及等待模式。Rs 引脚接地选择高速模式，这种模式下，
不考虑上升和下降斜率，这种情况下最好采用屏蔽电缆以防止射频干扰。Rs 脚串接一
个电阻后再接地，用于控制上升和下降斜率，从而减少射频干扰。在速度较低或总线
距离较短的情况下，可采用这种模式。Rs 引脚接高电平，接收器处于低电流等待模式。
此时，发送器关闭，接收器处于低电流工作，可以对 CAN 总线上的显性位（差分总
线电压>0.9V）作出反应，通知 CPU（CAN 总线上监测到显性位时，RXD 将切换到
低电平）
。由于接收器在等待模式下比较慢，第一个信息将很容易丢失。
由于 PCA82C250 处于 CAN 总线的网络终端，为了防止总线传输时的信号畸变和
地弹反射，在总线接口部分加了一个 124Ω 的匹配电阻。另外，考虑到高速驱动器件
的电源滤波，在 PCA82C250 芯片的电源引脚处接了 100pF 电容。
（2）软件设计
系统的底层软件主要包括控制软件和采集软件，如图 5.12 所示为基于 CAN 总线
的控制程序流程图，控制软件由主程序和 CAN 接收中断程序组成，通过设置 MSCAN
可以过滤掉其他一些不需要的 CAN 报文，
模块的屏蔽和校验寄存器，有效地提高 CAN
接收中断的效率，由于 08 微控制器的处理能力有限，完成控制指令接收后不在中断
程序中实现控制算法，而通过置位控制标志位将控制权交给主程序处理。
116
图 5.12 基于 CAN 总线的控制程序流程图
如图 5.13 所示为基于 CAN 总线的采集程序流程图，采集软件由主程序和 RTI 实

时周期中断程序组成，传感器信息根据其重要性采用 10ms、20ms、50ms 等刷新率进
行发送，同样为了提高软件效率，周期中断程序中只根据不同的刷新率置位采集标志，
然后通过主程序对不同的采集标志进行判断来调用 CAN 发送函数。
图 5.13 基于 CAN 总线的采集程序流程图
5.4 实验
本章实验主要围绕两部分进行，第一部分通过 CAN 总线通信实现对智能车辆各

部分车辆底层模块的数据采集和控制，验证各部分底层控制模块通信协议的可行性和
智能车辆基本的自主驾驶能力；第二部分通过“智能车未来挑战赛”的基本任务、挑
战任务、挑战任务、越野任务和特色表演任务对智能车辆整车通信网络进行验证，验
证通信网络的协调性、扩展性和智能车辆的综合性能。
117
第一部分对基本的车辆底层数据采集和控制系统进行验证，主要包括横向控制部
分和纵向控制部分，如图 5.14 所示。
（a）纵向控制（b）横向控制
图 5.14 基于 CAN 总线通信的车辆底层控制实验
该实验在车速较低的情况下进行，图 5.14（a）为纵向控制实验曲线，通过 CAN

总线上期望速度值和轮速值对制动踏板的控制是实现简单基本的速度控制，图 5.14
（b）为横向控制实验曲线，通过 CAN 总线上期望航向值和前轮偏角值对方向盘进行
航向控制。基本验证了智能车辆各部分底层控制模块通信协议的可行性和智能车辆基
本的自主驾驶能力。
第二部分为本研究的智能车辆平台在“智能车未来挑战赛” （FC'09）完成了基
本任务、挑战任务、越野任务和特色表演任务，综合验证了智能车辆的自主驾驶综合
性能，如图 5.15 为“智能车未来挑战赛”的基本任务和挑战任务的任务路线，起始点
为 1 号路的检测点 1.1.2，结束点为 3 号路的检测点 3.1.3。其中检测点 2.1.3 需要进行
交通信号灯识别并通过 CAN 总线将识别结果成功发送以引导车辆停车让行还是继续
通行，同样在检测点 2.2.2 中对进行交通标志识别并将识别结果传送至 CAN 网络中，
规划与决策模块对识别结果进行决策以选择不同的路径完成比赛任务，最终顺利完成
该任务。通过现场比赛综合验证了整车 CAN 通信网络的可行性，为后续智能车辆研
究和自动车辆引导提供了良好的实验平台。
118
图 5.15 “智能车未来挑战赛”比赛任务
5.5 本章小结
本章讲述了车载网络系统的研究现状，同时对 SAE J1939 标准进行了描述，规划

了整个智能车辆平台的各个层次的架构，搭建了环境感知模块，规划决策模块，和车
辆底层控制模块之间的总线通信网络，对智能车辆系统的 CAN 总线结构进行设计，
参照 SAE J1939 标准制定了应用于智能车辆的 CAN 总线通信协议，包括底层控制的协
议，数据采集的协议，局部环境感知的协议，实现了智能车辆各个层次之间的信息共
享和控制指令的传输，并进行了基于 CAN 总线的智能车辆系统的软硬件设计，最后
通过车辆底层控制实验和“智能车未来挑战赛”中完成了基本任务和特色表演验证了
智能车辆系统的总线规划合理性。
119
6 结论与展望
6.1 主要工作成果
本文的研究工作围绕智能车辆无人驾驶的城市道路环境感知系统展开，主要进行
了基于激光雷达与机器视觉的摄像机标定和数据融合、前方车辆检测、交通信号灯识
别与跟踪、制定基于 CAN 总线的智能车辆感知与控制协议等研究，而且在算法验证
和系统实现上进行了实验，通过中国首届“智能车未来挑战赛”验证了算法鲁棒性和
可靠性。总结本文研究可以归纳为以下几项工作：
（1）建立各传感器与车体之间坐标转换模型，对激光雷达安装外参数的标定进
行了理论分析和实验，利用激光雷达与机器视觉共同提取特征点的方法建立约束方程
进而实现摄像机外参数的标定，通过逆投影标定实验验证标定参数的准确性；
（2）完成基于坐标转换模型的激光雷达与机器视觉数据融合，实现激光雷达与
摄像机数据在空间和时间上的同步，通过实验分析证明该数据融合方法适用于智能车
辆环境感知系统；
（3）综合分析激光雷达的数据特点提炼其数据处理所要求的算法特点，对比数
据挖掘中常用的数据聚类方法优缺点，选择适合激光雷达数据特点应用的聚类分析方
法，提出基于改进 DBSCAN 算法的激光雷达数据聚类方法，降低算法的参数敏感度
和增强了算法实时性，对车辆在激光雷达中的三种标准扫描模型进行数据聚类的形状
特征匹配；
（4）建立不同背景环境、不同样式种类、不同视觉角度和不同光照条件下的车
辆与交通信号灯样本库，针对不同待检测目标的特点进行正样本的边界扩展、标定与
归一化，利用扩展 Haar-like 特征与 AdaBoost 算法对正样本进行遍历特征的统计计算
得到目标分类器；
（5）针对单一传感器对路面车辆检测所存在的问题，提出基于激光雷达与机器
视觉数据融合的路面车辆检测方法，通过环境感知传感器坐标转换模型将激光雷达数
据投影至图像中，形状特征匹配后的激光雷达数据在图像中产生检测候选区域，利用
车辆分类器对候选区域实现假设验证，进一步改善单一传感器对路面车辆检测的鲁棒
性。
120
（6）详细分析城市道路环境中交通信号灯的种类、表示意义和安装顺序等方面
标准，对比不同的彩色空间模型特点和应用环境，利用彩色分割与形态学实现交通信
号灯预处理，建立稳定可靠的交通信号灯候选区域，利用训练完成的信号灯分类器对
假设区域进行二分类校验；
（7）针对交通信号灯发光单元的色彩特征统计特性和其背景噪声特点进行深入
分析，提出一种基于 CAMSHIFT 的交通信号灯跟踪算法，通过波门设置计算波门内
色彩概率分布，寻找目标在色彩概率图中的最大统计分布来完成鲁棒性跟踪；
（8）构建整个智能车辆平台各个层次模块的关系结构，完成车辆无人化改造及
建立基于 CAN 总线的智能车辆控制通信网络系统，参照 SAE J1939 标准制定了应用
于智能车辆的 CAN 总线通信协议，实现了智能车辆各个层次之间的信息共享和控制
指令的传输，完成设计基于 CAN 总线通信的智能车辆软硬件系统，最后通过“智能
车未来挑战赛”对系统进行验证。
6.2 创新点
论文结合实际科研项目对城市环境下的智能车辆环境感知技术进行了深入研究，
并进行了实车实验，主要创新点如下：
（1）提出了基于激光雷达与机器视觉数据融合的路面车辆检测算法，建立环境
感知传感器与车体坐标之间的转换模型和实现数据融合，提出改进 DBSCAN 的激光
雷达数据聚类处理，采用 AdaBoost 算法在候选区域中快速目标检测，实验改善单一
传感器对路面车辆检测性能。
（2）提出了基于 AdaBoost 与 CAMSHIFT 算法的交通信号灯识别与跟踪方法，
通过更具有鲁棒性和适应性的统计学习与先验知识相融合的交通信号灯识别算法和
波门 CAMSHIFT 跟踪算法，自动引导车辆遵守交通规则。
（3）提出了基于 CAN 总线通信的智能车辆控制通信网络系统，构建智能车辆系
统各个层次和整车架构，参照 SAE J1939 标准制定了应用于智能车辆的 CAN 总线通
信标准协议，以指导智能车辆各个系统模块的建立和相互通信，最后通过“智能车未
来挑战赛”对系统进行验证。
121
6.3 展望
本文虽然在智能车辆环境感知和整车通信协议中进行了一定的研究，但是由于时
间、精力等各方面因素的限制，还有许多工作需要进一步深入研究并完善，未来工作
的展望主要包括：
（1）完善基于不同特征的 AdaBoost 算法研究，利用不同类型特征扩展不同的目
标分类器，如行人、自行车等分类，对算法的训练结构和快速搜索检测方式进行改进，
以扩展目标的多分类识别算法研究。
（2）增强路面车辆检测后的车辆控制，后续的研究中加入 dSPACE 完成快速原
型系统和半实物仿真系统，逐步完善整车模型和控制器的设计，加强智能车辆纵向和
横向车辆控制算法的深入研究。
（3）扩展交通信号标志、路标路牌和交通警察手势的识别研究，通过多种机器
学习方法完善交通标识分类器的生成，为智能车辆系统和辅助驾驶系统提供更完善的
城市道路环境交通信息。
（4）完善智能车辆实验平台的数据采集功能和故障诊断功能，在比赛和实车实
验中发现，当系统出现故障后很难作出准确故障判断和定位，因此在系统平台上完善
基于 CAN 总线的采集和故障诊断功能极其重要。
122
参考文献
[1] NHTSA’s National Center for Statistics & Analysis. 2005 Traffic Safety Facts Data Summary
Booklet [R]. USA: NHTSA, 2007.
[2] 郑文贵, 李向云. 1996-2003 年全国交通事故伤害的时间序列分析[J]. 中国卫生事业管理, 2006,
22(2): 105-107.
[3] 王宏武, 孙逢春, 曹琦, 等. 道路交通系统驾驶行为理论与方法[M]. 北京: 科学出版社, 2001.
[4] Dagan E, Mano O, Stein G P, et al. Forward Collision Warning with a Single Camera. IEEE
Intelligent Vehicles Symposium [C]. Piscataway NJ USA, 2004: 37-42.
[5] Guo Qiang Zhang, Jian Lu, Qiao Jun Xiang. Implementation of Intelligent Transportation Systems
Based Paratransit Services in China. Proceedings of the 14th World Congress on Intelligent
Transport System [C]. Beijing China, 2007: 3032.
[6] Morten Welde, James Odeck. Evaluating the Economic Impacts of Intelligent Transport Systems.
Proceedings of the 14th World Congress on Intelligent Transport System [C]. Beijing China, 2007:
2028.
[7] Xiao Xiong Weng, Guang Zhai Luo. Intelligent Traffic Information Systems Base on Feature of
Traffic Flow. Proceedings of the 14th World Congress on Intelligent Transport System [C]. Beijing
China, 2007: 3116.
[8] National Intelligent Transportation Systems Program Plan [R]. Intelligent Transportation Society of
America, 1995.
[9] National Intelligent Transportation Systems Deployment Strategy: Actions for Achieving National
and Community Transportation Objectives [R]. Intelligent Transportation Society of America, 1995.
[10] 王荣本, 李斌. 世界智能车辆行驶安全保障技术的研究进展[J]. 公路交通科技, 2002, 19(2):
80-85.
[11] Strategic Plan for Intelligent Vehicle-highway Systems in The United States [R]. Intelligent Vehicle
Highway of America, 1992.
[12] 杨殿阁, 李克强, 郑四发, 等. 智能交通系统中的汽车技术[J]. 汽车工程, 2003, 25(3):
223-226.
[13] Andresen F P, Davis L S, Eastman R D, et al. Visual Algorithms for Autonomous Navigation. IEEE
123
International Conference on Robotics and Automation [C]. Silver Spring MD USA, 1985: 856-861.
[14] Tsugawa S. Vision-Based Vehicles in Japan: Machine Vision Systems and Driving Control Systems
[J]. IEEE Transactions on Industrial Electronics, 1994, 41(4): 398-405.
[15] Brusaglino G. Safe and Effective Mobility in Europe-the Contribution of the PROMETHEUS
Programme. IEE Colloquium on 'Prometheus and Drive' [C]. London UK, 1992: 101-110.
[16] Gregor R, Lutzeler M, Pellkofer M, et al. EMS-Vision: A Perceptual System for Autonomous
Vehicles. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ USA, 2000: 52-57.
[17] Gregor R, Dickmanns E D. EMS-Vision: Mission Performance on Road Networks. IEEE Intelligent
Vehicles Symposium [C]. Piscataway NJ USA, 2000: 140-145.
[18] Lutzeler M, Dickmanns E D. EMS-Vision: Recognition of Intersections on Unmarked Road
Networks. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ USA, 2000: 302-307.
[19] Bertozzi M, Broggi A, Fascioli A. Real-Time Obstacle Detection on a Massively Parallel Linear
Architecture. 1997 3rd International Conference on Algorithms and Architectures for Parallel
Processing [C]. Singapore, 1997: 535-542.
[20] Bertozzi M, Broggi A, Fascioli A, et al. The ARGO Autonomous Vehicle's Vision and Control
Systems [J]. International Journal of Intelligent Control and Systems, 1999, 3(4): 409-441.
[21] Bertozzi M, Bombini L, Broggi A, et al. GOLD: A Framwork for Developing Intelligent-Vehicle
Vision Applications [J]. IEEE Intelligent Systems, 2008, 23(1): 69-71.
[22] Shladover S E. Applications of Wireless Communications to Cooperative ITS in the California
PATH Program. ITST 2006 6th International Conference on ITS Telecommunications[C]. Institute
of Electrical and Electronics Engineers Inc. United States, 2007: 8-9.
[23] Sengupta Raja, Rezaei Shahram, Shladover Steven E, et al. Cooperative Collision Warning Systems:
Concept Definition and Experimental Implementation [J]. Journal of Intelligent Transportation
Systems: Technology, Planning, and Operations, 2007, 11(3): 143-155.
[24] Zhang Wei-Bin, Shladover Steven E, Zhang Yongquan. Evaluation of Forward Collision Warning
System for Urban Driving [J]. Intelligent Transportation Systems and Vehicle-Highway Automation,
2007: 106-113.
[25] Xiao-Yun Lu, Han-Shue Tan, Shladover S E, et al. Automated Vehicle Merging Maneuver
Implementation for AHS [J]. Vehicle System Dynamics, 2004, 41(2): 85-107.
[26] MacLachlan R A, Mertz C. Tracking of Moving Objects from a Moving Vehicle Using a Scanning
124
Laser Rangefinder. IEEE Intelligent Transportation Systems Conference [C]. Piscataway NJ USA,
2006: 301-306.
[27] Wang Chieh-Chih, Thorpe Charles, Thrun Sebastian. Simultaneous Localization, Mapping and
Moving Object Tracking [J]. International Journal of Robotics Research, 2007, 26(6): 889-916.
[28] Mertz C, Duggins D, Gowdy J, et al. Collision Warning and Sensor Data Processing in Urban Areas.
International Conference on ITS Telecommunications [C]. 2005: 73-78.
[29] Aufrere R, Gowdy J, Mertz C, et al. Perception for collision avoidance and autonomous driving [J]
Mechatronics, 2003, 13(10): 1149-1161.
[30] Munkeby S, Spofford J. UGV/Demo II program: status through Demo C and Demo II preparations.
Proceedings of the SPIE-The International Society for Optical Engineering [C]. SPIE-Int. Soc. Opt.
Eng, 1996: 110-121.
[31] Shoemaker C M, Bornstein J A. Overview of the Demo III UGV Program. Proceedings of the
SPIE-The International Society for Optical Engineering [C]. SPIE-Int. Soc. Opt. Eng, 1998:
202-211.
[32] Kamiya Hiroyuki, Fujita Yasuhiko, Tsuruga Takahiro, et al. Intelligent Technologies of Honda ASV.
IEEE Intelligent Vehicle Symposium [C]. Piscataway NJ United States, 1996: 236-241.
[33] Tsugawa S, Saito T, Hosaka A. Super Smart Vehicle System: AVCS Related Systems for the Future.
IEEE Intelligent Vehicle Symposium [C]. IEEE NY USA, 1992: 132-137.
[34] 张朋飞, 何克忠, 欧阳正柱, 等. 多功能室外智能移动机器人实验平台——THMR-V[J]. 机器
人, 2002, 24(2): 97-101.
[35] Ni Kai, He Kezhong. THMR-V: An Effective and Robust High-Speed System in Structured Road.
IEEE International Conference on Systems, Man and Cybernetics [C]. Piscataway NJ USA, 2003:
4370-4374.
[36] 孙振平, 安向京, 贺汉根. CITAVT-IV——视觉导航的自主车[J]. 机器人, 2002, 24(2): 115-121.
[37] Ji Shouwen, Li Keqiang, Miao Lixin, et al. Design of a New Type of AGV Based on Computer
Vision [J]. Chinese Journal of Mechanical Engineering (English Edition), 2004, 17(1): 97-101.
[38] Jin Li-sheng, Guo Lie, Wang Rong-ben, et al. System Design and Navigation Control for Vision
Based Cybercar. IEEE International Conference on Vehicular Electronics and Safety [C].
Piscataway NJ USA, 2007: 459-464.
[39] Qing Li, Nanning Zheng, Hong Cheng. Springrobot: A Prototype Autonomous Vehicle and its
125
Algorithms for Lane Detection [J]. IEEE Transactions on Intelligent Transportation Systems, 2004,
5(4): 300-308.
[40] Hong Cheng, Nanning Zheng, Lin Ma, et al. Vehicle Active Safety Applications by Fusing
Multiple-Sensor for the Springrobot System. IEEE International Conference on Vehicular
Electronics and Safety Proceedings [C], Piscataway NJ USA, 2005: 155-160.
[41] Bertozzi M, Broggi A, Fascioli A. Vision-based intelligent Vehicles: State of the Art and
Perspectives [J]. Robotics and Autonomous Systems, 2000, 32(1): 1-16.
[42] Liu Tie, Zheng Nanning, Zhao Li, et al. Learning Based Symmetric Features Selection for Vehicle
Detection. IEEE Intelligent Vehicle Symposium [C]. Piscataway NJ USA, 2005: 124-129.
[43] Srinivasa N. Vision-based Vehicle Detection and Tracking Method for Forward Collision Warning
in Automobiles. IEEE Intelligent Vehicle Symposium [C]. Piscataway NJ USA, 2002: 626-631.
[44] Betke M, Haritaoglu E, Davis L S. Real-Time Multiple Vehicle Detection and Tracking from a
Moving Vehicle [J]. Machine Vision and Applications, 2000, 12(2): 69-83.
[45] Bucher T, Curio C, Edelbrunner J, et al. Image Processing and Behavior Planning for Intelligent
Vehicles [J]. IEEE Transactions on Industrial Electronics, 2003, 50(1): 62-75.
[46] Bertozzi M, Broggi A, Castelluccio S. A Real-time Oriented System for Vehicle Detection [J].
Journal of System Architecture, 1997, 43(1-5): 317-325.
[47] Tzomakas C. Vehicle Detection in Traffic Scenes Using Shadows [D]. Institut for Neuroinformatik:
Ruht University, 1998.
[48] 李云翀, 何克忠, 贾培发. 基于阴影特征和 Adaboost 的前向车辆检测系统[J]. 清华大学学报
(自然科学版), 2007, 47(10): 1713-1716.
[49] Kalinke T, Tzomakas C, Seelen W V. A Texture-based Object Detection and an Adaptive
Model-based Classification. IEEE International Conference on Intelligent Vehicles [C]. 1998:
143-148.
[50] Steux B, Laurgeau C, Salesse L, et al. Fade: A Vehicle Detection and Tracking System Featuring
Monocular Color Vision and Data Fusion. IEEE Intelligent Vehicle Symposium [C]. Piscataway NJ
USA, 2002: 632 -639.
[51] Hoffman C, Dang T, Stiller C. Vehicle detection fusing 2D visual features. IEEE Intelligent Vehicles
Symposium [C]. Piscataway NJ USA, 2004: 280-285.
[52] 顾柏园, 王荣本, 郭烈, 等. 基于机器视觉的道路上前方多车辆探测方法研究[J]. 汽车工程,
126
2006, 28(10): 902-905.
[53] Clady X, Collange F, Jurie F, et al. Cars Detection and Tracking with a Vision Sensor. IEEE
[54] Chi-Chen Raxle Wang, Jenn-Jier James Lien. Automatic Vehicle Detection Using Local Features-A
Statistical Approach [J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(1):
83-96.
[55] 李斌, 王荣本, 郭克友. 基于机器视觉的智能车辆障碍物检测方法研究[J]. 公路交通科技,
2002, 19(4): 126-129.
[56] Jin Li-sheng, Gu Bai-yuan, Wang Rong-ben, et al. Preceding Vehicle Detection Based on
Multi-characteristics Fusion. IEEE International Conference on Vehicular Electronics and Safety
[C]. Piscataway NJ USA, 2007: 356-360.
[57] Shih-Shinh Huang, Chung-Jen Chen, Pei-Yung Hsiao, et al. On-Board Vision System for Lane
Recognition and Front-Vehicle Detection to Enhance Driver's Awareness. IEEE International
Conference on Robotics and Automation [C]. Piscataway NJ USA, 2004: 2456-2461.
[58] 迟健男, 张朝晖, 周楠楠, 等. 基于特征的车辆目标复合探测方法研究[J]. 仪器仪表学报,
2008, 29(12): 2553-2558.
[59] 刘亚东, 李翠华. 基于多尺度边缘和局部熵原理的前方车辆检测[J]. 计算机技术与发展,
2008, 18(3): 200-206.
[60] Parodi P, Piccioli G. A Feature-based Recognition Scheme for Traffic Scenes. IEEE Intelligent
Vehicles Symposium [C]. New York NY USA, 1995: 229-234.
[61] Handmann U, Kalinke T, Tzomakas C, et al. An Image Processing System for Driver Assistance
[J]. Image and Vision Computing, 2000, 18(5): 367-376.
[62] Schmid M. An Approach to Model-based 3D Recognition of Vehicles in Real time by Machine
Vision. Proceedings of the IEEE/RSJ/GI International Conference on Intelligent Robots and
Systems [C]. Piscataway NJ United States, 1994: 2064-2071.
[63] Betke M, Haritaglu E, Davis L. Multiple Vehicle Detection and Tracking in Hard Real Time. IEEE
Intelligent Vehicles Symposium [C]. New York NY USA, 1996: 351-356.
[64] Zhao G, Yuta S. Obstacle Detection by Vision System for Autonomous Vehicle [J]. Intelligent
Vehicles, 1993: 31-36.
[65] Bertozzi M, Broggi A. Vision-based Vehicle Guidance [J]. Computer, 1997, 30(7): 49-55.
127
[66] Labayrade R, Aubert D, Tarel J-P. Real Time Obstacle Detection in Stereovision on Non Flat Road
Geometry Through “V-disparity” Representation. IEEE Intelligent Vehicle Symposium [C].
[67] Junxian Wang, Bebis G, Miller R. Overtaking Vehicle Detection Using Dynamic and Quasi-Static
Background Modeling. IEEE Computer Society Conference on Computer Vision and Pattern
Recognition [C]. Institute of Electrical and Electronics Engineers Computer Society, 2005: 64-64.
[68] Gillner W J. Motion Based Vehicle Detection on Motorways. IEEE Intelligent Vehicle Symposium
[C]. New York NY USA, 1995: 483-487.
[69] Wei Li, Rong Zhang, Zhengkai Liu, et al. An Approach of Laser-based Vehicle Monitor [J].
Applied Mathematics and Computation, 2007, 185(2): 953-962.
[70] Lindstrom M, Eklundh J-O. Detecting and Tracking Moving Objects from a Mobile Platform
using a Laser Range Scanner. IEEE International Conference on Intelligent Robots and System [C].
[71] Streller D, Furstenberg K, Dietmayer K. Vehicle and Object Models for Robust Tracking in Traffic
Scenes using Laser Range Images. IEEE 5th International Conference on Intelligent Transportation
Systems [C]. Piscataway NJ USA, 2002: 118-123.
[72] 李斌. 智能车辆前方车辆探测及安全车距控制方法的研究[D]. 吉林: 吉林大学, 2001.
[73] Wender S, Dietmayer K. 3D Vehicle Detection using A Laser Scanner and A Video Camera [J].
IET Intelligent Transport Systems, 2008, 2(2): 105-112.
[74] Kadow U, Schneider G, Vukotich A. Radar-Vision Based Vehicle Recognition with Evolutionary
Optimized and Boosted Features. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ USA,
2007: 749-754.
[75] Haselhoff A, Kummert A, Schneider G. Radar-Vision Fusion with an Application to Car-Following
using an Improved AdaBoost Detection Algorithm. IEEE Intelligent Transportation Systems
Conference [C]. Piscataway NJ USA, 2007: 854-858.
[76] Alessandretti G, Broggi A, Cerri P. Vehicle and Guard Rail Detection Using Radar and Vision Data
Fusion [J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(1): 95-105.
[77] Broggi A, Cerri P, Oleari F, et al. Guard Rail Detection using Radar and Vision Data Fusion for
Vehicle Detection Algorithm Improvement and Speed-up. IEEE Intelligent Transportation Systems
Conference [C]. Piscataway NJ USA, 2005: 857-861.
128
[78] Schweiger R, Neumann H, Ritter W. Multiple-cue Data Fusion with Particle Filters for Vehicle
Detection in Night View Automotive Applications. IEEE Intelligent Vehicle Symposium [C].
[79] Khammari A, Nashashibi F, Abramson Y, et al. Vehicle Detection Combining Gradient Analysis
and AdaBoost Classification. IEEE Intelligent Transportation Systems [C]. Piscataway NJ USA,
2005: 1084-1090.
[80] SamYong Kim, Se-Young Oh, JeongKwan Kang, et al. Front and Rear Vehicle Detection and
Tracking in the Day and Night Times Using Vision and Sonar Sensor Fusion. IEEE/RSJ
International Conference on Intelligent Robots and Systems [C]. Piscataway NJ USA, 2005:
2173-2178.
[81] Chieh-Chih Wang, Thorpe C, Suppe A. LADAR-based Detection and Tracking of Moving Objects
from a Ground Vehicle at High Speeds. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ
USA, 2003: 416-421.
[82] Baehring D, Simon S, Niehsen W, et al. Detection of Close Cut-in and Overtaking Vehicles for
Driver Assistance Based on Planar Parallax. IEEE Intelligent Vehicle Symposium [C], Piscataway
NJ USA, 2005: 290-295.
[83] Andreone L, Antonello P C, Bertozzi M, et al. Vehicle Detection and Localization in Infra-Red
Images. IEEE 5th International Conference on Intelligent Transportation Systems [C]. Piscataway
NJ USA, 2002: 141-146.
[84] Yung N H C, Lai A H S. An Effective Video Analysis Method for Detecting Red Light Runners [J].
IEEE Transactions on Vehicular Technology, 2001, 50(4): 1074-1084.
[85] Lai A H S, Yung N H C. A Video-based System Methodology for Detecting Red Light Runners.
Proceedings of IAPR Workshop on Machine Vision Applications [C]. Tokyo Japan, 1998: 23-26.
[86] Yun-Chung Chung, Jung-Ming Wang, Sei-Wang Chen. A Vision-based Traffic Light System at
Intersections [J]. Journal of Taiwan Normal University: Mathematics, Science & Technology, 2002,
47(1): 67-86.
[87] Shioyama T, Wu H, Nakamura N. Measurement of the Length of Pedestrian Crossings and
Detection of Traffic Lights from Image Data [J]. Measurement Science & Technology, 2002, 13(9):
1450-1457.
[88] Pang G K H, Liu H H S. LED Location Beacon System Based on Processing of Digital Images [J].
129
IEEE Transactions on Intelligence Transportation Systems, 2001, 2(3): 135-150.
[89] Zhuowen T, Ron L. Automatic Recognition of Civil Infrastructure Objects in Mobile Mapping
Imagery Using Markov Random Field. ISPRS Conf. 2000 Amsterdam [C]. 2000.
[90] Wada M, Yendo T, Fujii T, et al. Road-to-Vehicle Communication Using LED Traffic Light. IEEE
[91] Hara T, Iwasaki S, Yendo T, et al. A New Receiving System of Visible Light Communication for
ITS. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ USA, 2007: 474-479.
[92] Arai S, Mase S, Yamazato T, et al. Experiment on Hierarchical Transmission Scheme for Visible
Light Communication using LED Traffic Light and High-Speed Camera. 2007 66th Vehicular
Technology Conference [C]. Piscataway NJ USA, 2007: 2174-2178.
[93] Iwasaki S, Premachandra C, Endo T, et al. Visible light road-to-vehicle communication using
high-speed camera. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ USA, 2008: 13-18.
[94] Premachandra H C N, Yendo T, Yamasato T, et al. Detection of LED Traffic Light by Image
Processing for Visible Light Communication System. IEEE Intelligent Vehicles Symposium [C].
[95] Okada S, Yendo T, Yamazato T, et al. On-Vehicle Receiver for Distant Visible Light
Road-to-Vehicle Communication. IEEE Intelligent Vehicles Symposium [C], Piscataway NJ USA,
2009: 1033-1038.
[96] Lindner F, Kressel U, Kaelberer S. Robust Recognition of Traffic Signals. IEEE Intelligent
Vehicles Symposium [C]. Piscataway NJ USA, 2004: 49-53.
[97] Hwang Tac-Hyun, Joo In-Hak, Cho Seong-Ik. Detection of Traffic Lights for Vision-based Car
Navigation System. Advances in Image and Video Technology. First Pacific Rim Symposium
(PSIVT) [C]. Berlin Germany, 2006: 682-691.
[98] Kim Y K, Kim K W, Xiaoli Yang. Real Time Traffic Light Recognition System for Color Vision
Deficiencies. IEEE International Conference on Mechatronics and Automation [C]. Piscataway NJ
USA, 2007: 76-81.
[99] Yehu Shen, Ozguner U, Redmill K. A Robust Video based Traffic Light Detection Algorithm for
Intelligent Vehicles. IEEE Intelligent Vehicles Symposium [C]. Piscataway NJ USA, 2009:
521-526.
[100] Kuo-Hao Lu, Chao-Ming Wang, Shu-Yuan Chen. Traffic Light Recognition [J]. Journal of the
130
Chinese Institute of Engineers, 2008, 31(6): 1069-1075.
[101] de Charette R, Nashashibi F. Real Time Visual Traffic Lights Recognition Based on Spot Light
Detection and Adaptive Traffic Lights Templates. IEEE Intelligent Vehicles Symposium [C].
[102] 高德芝,段建民,郑榜贵,等. 智能车辆环境感知传感器的应用现状[J]. 现代电子技术, 2008, 19:
151-156.
[103] 丁鹜飞, 耿富录. 雷达原理[M]. 西安: 电子科技大学出版社, 2002.
[104] Tsai R Y. An efficient and accurate camera calibration technique for 3D machine vision. IEEE
Computer Society Conference on Computer Vision and Pattern Recognition [C]. Washington DC
USA, 1986: 364-374.
[105] Duda R O, Hart P E, Stork D G. Pattern Classification (2nd Edition) [M]. New York: Wiley, 2001.
[106] Ester M, Kriegel H-P, Sander J, et al. A Density-based Algorithm for Discovering Clusters in
Large Spatial Databases with Noise. Proceedings of 2nd International Conference on Knowledge
Discovery and Data Mining [C]. Menlo Park CA USA, 1996: 226-231.
[107] Guan Ji-Hong, Zhou Shui-Geng, Buan Fu-Ling, et al. Scaling up the DBSCAN Algorithm for
Clustering Large Spatial Databases based on Sampling Technique [J]. Wuhan University Journal of
Natural Science, 2001, 6(1-2): 467-473.
[108] Qian WeiNing, Gong XueQing, Zhou AoYing. Clustering in Very Large Databases based on
Distance and Density [J]. Journal of Computer Science and Technology, 2003, 18(1): 67-76.
[109] Zhou Shui-Geng, Zhou Ao-Ying, Jin Wen, et al. FDBSCAN: A Fast DBSCAN Algorithm [J].
Journal of Software, 2000, 11(6): 735-744.
[110] 冯少荣 , 肖文俊 . DBSCAN 聚类算法的研究与改进 [J]. 中国矿业大学学报 , 2008,
37(1):105-111.
[111] Viola P, Jones M. Rapid Object Detection using a Boosted Cascade of Simple Features.
Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition [C]. Los Alamitos
CA USA: IEEE Comput. Soc, 2001: 511-518.
[112] Viola P, Jones M. Robust Real-Time Object Detection [R]. Cambridge Research laboratory
Technical Report, 2001.
[113] Papageorgiou C P, Oren M, Poggio T. A General Framework for Object Detection. IEEE
International Conference on Computer Vision [C]. New Delhi India, 1998: 555-562.
131
[114] Mohan A, Papageorgiou C, Poggio T. Example-based Object Detection in Images by Components
[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(4): 349-361.
[115] R Lienhart, J Maydt, An Extended Set of Haar-like Features for Rapid Object Detection.
International Conference on Image Processing [C]. Piscataway NJ USA, 2002: 900-903.
[116] Kalman R E. A New Approach to Linear Filtering and Prediction Problems [J]. Transaction of the
ASME-Journal of Basic Engineering, 1960, 82(1): 35-45.
[117] GB 14887-2003, 道路交通信号灯[S]. 中华人民共和国国家标准, 2003.
[118] GB 14886-2006, 道路交通信号灯设置与安装规范[S]. 中华人民共和国国家标准, 2006.
[119] Rafael C Gonzalez, Richard E Woods. Digital Image Processing (Second Edition) [M]. 电子工业
出版社, 2007.
[120] 章毓晋. 图像工程(上): 图像处理和分析[M]. 北京: 清华大学出版社, 1999.
[121] Cheng H D, Jiang X H, Sun Y, et al. Color image segmentation: advances and prospects [J].
Pattern Recognition, 2001, 12(34): 2259-2281.
[122] Luo M R, Hunt R W G. Structure of the ClE l997 colour appearance Model [J]. Color Research
and Application, 1998, 23(3): 138-146.
[123] Shaposhnikov D G, Podladchikova L, Gusakova V, et al. Road sign recognition by single
positioning of space-variant sensor window. Proceedings of the 15th International Conference on
Vision Interface [C]. 2002: 213-217.
[124] Gao X, Shevtsova N, Hong K, et al. Vision Models based identification of traffic signs. First
European Conference on Colour in Graphics Imaging and Vision [C]. Springfield VA USA, Soc.
Imaging Sci. & Technol, 2002: 47-51.
[125] 林开颜, 吴军辉, 徐立鸿. 彩色图像分割方法综述[J]. 中国图象图形学报, 2005, 10(1): 1-10.
[126] 李尊民. 电视跟踪系统的基本原理[M]. 国防工业出版社, 1999.
[127] 王春平, 朱元昌, 黄允华. 基于图像信息的跟踪算法分析[J]. 火力与指挥控制, 2000, 25(1):
18-21.
[128] Du Y, Papanikolopoulos N P. Real-Time Vehicle Following through a Novel Symmetry-Based
Approach. Proceedings of International Conference on Robotics and Automation [C]. New York
NY USA, IEEE, 1997: 3160-3165.
[129] Fukunaga K, Hosteller L D. The Estimation of the Gradient of a Density Function, with
Application in Pattern Recognition [J]. IEEE Transactions on Information Theory, 1975, 21(1):
132
32-40.
[130] Cheng Y Z. Mean Shift, Mode Seeking, and Clustering [J]. IEEE Transactions on Pattern Analysis
and Machine Intelligence, 1995, 17(8): 790-799.
[131] Comaniciu D, Meer P. Mean Shift: A Robust Approach Toward Feature Space Analysis [J]. IEEE
Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.
[132] Comaniciu D, Ramesh V. Mean Shift and Optimal Prediction for Efficient Object Tracking.
Proceedings of 7th IEEE International Conference on Image Processing [C]. Piscataway NJ USA,
IEEE, 2000: 70-73.
[133] Comaniciu D, Ramesh V, Meer P. Real-Time Tracking of Non-rigid Objects using Mean Shift.
Proceedings IEEE Conference on Computer Vision and Pattern Recognition [C]. Los Alamitos CA
USA, IEEE Comput. Soc, 2000: 142-149.
[134] Comaniciu D, Ramesh V, Meer P. Kernel-based Object Tracking [J]. IEEE Transactions on Pattern
Analysis and Machine Intelligence, 2003, 25(5): 564-577.
[135] Bradski G R. Computer Vision Face Tracking for Use in a Perceptual User Interface [J]. Intel
Technology Journal, 1998: 214-219.
[136] Fashing Mark, Tomasi Carlo. Mean Shift is a Bound Optimization [J]. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 2005, 27(3): 471-474.
[137] 罗峰, 苏剑, 袁大宏. 汽车网络与总线标准[J]. 汽车工程,2003, 4: 372-376.
[138] Robert Bosch. CAN Specification (Version 2.0). Bosch, 1991.
[139] Lesko A J. Your car won't run without this CAN [J]. EE Evaluation Engineering, 1999, 38(1):
409-413.
[140] Vector. CANalyzer User Manual. Vector Ltd, 2002.
[141] Wahl M, Doree G. A CAN Application Layer for An Experimental Real Time Obstacle Detection
Study. IEEE Intelligent Transportation Systems. Proceedings [C]. Piscataway NJ USA, IEEE,
2000: 276-281.
[142] Lupini C A. Multiplex Bus Progression 2003. SAE Transactions, 2003, 112(7): 68-76.
[143] Society of Automotive Engineers. SAE J1939 Standards Collection, Recommended Practice for a
Serial and Communication Vehicle Network. SAE Recommended Practice, 2003.
[144] Society of Automotive Engineers. Recommended Practice for Control and Communications
Network for On-Highway Equipment-SAE J1939/01. SAE Recommended Practice, 2000.
133
[145] Society of Automotive Engineers. Physical Layer-250K bits/s, Shielded Twisted Pair-SAE
J1939/11. SAE Recommended Practice, 1999.
[146] Society of Automotive Engineers. Off-Board Diagnostic onnector-SAE J1939/13. SAE
Recommended Practice, 1999.
[147] Society of Automotive Engineers. Data Link Layer-SAE J1939/21. SAE Recommended Practice,
2001.
[148] Society of Automotive Engineers. Network Later-SAE J1939/31. SAE Recommended Practice,
1997
[149] Society of Automotive Engineers. Vehicle Application Layer-SAE J1939/71. SAE Recommended
Practice, 1998.
[150] Society of Automotive Engineers. Application Layer-Diagnostics-SAE J1939/73. SAE
[151] Society of Automotive Engineers. Application Layer-Generator Sets and Industrial-SAE J1939/75.
SAE Recommended Practice, 2003.
[152] Society of Automotive Engineers. Network Management-Diagnostics-SAE J1939/81. SAE
[153] Yun J A. Performance Evaluation of Multiplexing Protocols [J]. SAE Transactions, 1998, 107(6):
1671-1677.
134
攻读博士学位期间发表论文及科研工作
学术论文：
[1] 第一作者. An Appilication of Data Fusion Combining Laser Scanner and Vision in
Real-Time Driving Environment. Proceeding of 2009 International Conference
Machine Learning and Cybernetics (ICMLC2009). 2009, Vol.6: 3116-3121.
[2] 第一作者. 基于改进 DBSCAN 算法的激光雷达车辆探测方法. 北京理工大学学报.
（已录用）
[3] 第一作者. 基于 ADSP-BF561 的车辆辅助驾驶系统硬件设计. 微计算机信息. 2009,
Vol25, No.26: 1-3.
[4] 第一作者. PowerPC 在液力自动变速控制系统中的应用. 微计算机信息（已录
用）.
[5] 第三作者. 重型车辆 AMT 换挡过程控制方法研究. 汽车工程. 2009, Vol31, No.6:
540-544.
[6] 第三作者 . 液力变矩器闭锁过程自适应控制技术研究 . 汽车工程 . 2009, Vol31,
No.8: 761-764.
获奖情况与科研工作：
[1] 首届中国“智能车未来挑战”比赛第二名（亚军），颁奖单位：国家自然科学基金
委员会重大研究计划“视听觉信息的认知计算”指导专家组，首届中国“智能车
未来挑战”比赛组织委员会，2009.06.03-2009.06.05。
[2] 首届中国“智能车未来挑战”比赛最佳环境感知奖，颁奖单位：国家自然科学基
金委员会重大研究计划“视听觉信息的认知计算”指导专家组，首届中国“智能
车未来挑战”比赛组织委员会，2009.06.03-2009.06.05。
[3] 参与北京理工大学“985”科研平台建设——车辆环境感知实验平台的科研工作。
[4] 参与国家 863 项目：“重型商用车 AMT 技术开发”，作为参与人完成了基于重型
牵引车辆的全气动自动换挡控制功能样车的开发工作，并进行了基于 dSPACE 半
实物仿真的控制系统快速原型和基于 Targetlink 的快速代码生成工作。
[5] 参与“十五”预先研究课题——数字化自动电液操纵技术的研究。
135

��车辆检测与交通信号灯识别技术研究

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

��车辆检测与交通信号灯识别技术研究

Uploaded by

Copyright:

Available Formats

****大学博士学位论文

System）、先进出行信息系统（ATIS: Advanced Travel Information System）、先进车辆

到目前为止，智能车辆经历了多个发展阶段，从 20 世纪 50 年代初至 60 年代末

的智能车辆萌芽阶段，到 70 年代初至 80 年代末的智能车辆起步阶段，再到 90 年代

RDT（Road Detectionand Tracking），以及障碍物检测和跟踪模块 ODT（Obstacle

同时由于△CBA 为等腰直角三角形，即有 CF = DF ， zvF = BC − CF = BC − DF ，

DF = ρlF 2 + ρlD 2 − 2 ρlF ρlD cos(θlD − θlF ) （2-5）

zvF = BC − DF = H − ρlF sin θlF sin α （2-6）

光轴的方向， xc 和 yc 分别与图像物理坐标系 xu 与 yu 方向平行；

Pv = Rlv Pl + Tlv （2-8）

Pw = Rvw Pv + Tvw = Rvw ( Rlv Pl + Tlv ) + Tvw （2-9）

Pc = Rwc Pw + Twc （2-10）

上述模型中，θl 和 ρl 为该扫描点的扫描角度和扫描距离， Rij 为坐标系 i 转换至坐标系

上述模型中， Rc 为摄像机外部参数的旋转矩阵，Tc 为摄像机外部参数的平移向量， K

其中：1 摄像机，2 激光雷达

其中 f 为摄像机镜头的焦距，根据图 2.5 可以对图像物理坐标系中像点 Pu ( xu , yu ) 转换

其中 f x = f dx , f y = f dy ，分别定义为 x 和 y 方向的等效焦距， f x , f y , u0 , v0 等参数

上式为理想的针孔摄像机模型，物点 P ( xv , yv , zv ) 、光心、像点 pi (u , v) 三点在同一

(u, v,1)T = K ( Rc ( xv , yv , zv )T + Tc ) （2-28）

(a) 第21帧 (b) 第86帧 (c) 第141帧

(d) 第262帧 (e) 第396帧

序号 ρlD (mm) θlD ( ) ρlF (mm) θlF ( ) DF (mm)

1 4170 115 4120 107 580.4282

根据表 2.1 所示的实验数据，利用激光雷达扫描几何模型可以求解出激光雷达的

（a） （b） （c） （d） （e）

（f） （g） （h） （i） （j）

在图 2.10 中，这 10 幅图像分别为标定板的不同姿态，但在放置标定板过程中需

（a）第 0 帧 （b）第 178 帧

（c）第 299 帧 （d）第 593 帧

（e）第 713 帧 （f）第 1070 帧

根据表 2.2 的实验数据和前面章节所讲述的理论、模型，最后计算出摄像机的外

（a）第 500 帧 （b）第 1500 帧

（c）第 2297 帧 （d）第 7661 帧

通过图 2.12 可以看到利用标定后摄像机内外参数进行逆透视投影变换的效果，透

（a） （b） （c）

10-1 216 276 -2321.3344 14063.9452

从表 2.3 可以看到，15 个不同位置和远近的标定板宽度测量值与真实值之间的对

其中函数 E 为在数据集合中所有对象与各自聚类中心的均方差总和， p 为数据集合中

图 3.2 k-means 算法流程图

c. 核心对象（Core Object）：若一个对象 q 的 ε -近邻至少包含最小数目 MinPts 个

q 为核心对象；p 为边界对象；n 为噪声

d. 边界对象（Border Object）：若一个对象 p 属于核心对象 q 的 ε -近邻，但对象 p

并不是核心对象，则对象 p 称为边界对象，如图 3.3 所示。

f. 密度可达（ Density Reachable ）：给定一组对象集 D ，当存在一个对象链

：若对象集 D 中存在一个对象 o(o ∈ D) ，使得对

h. 类（Cluster）：对象集 D 中非空集合 C 是一个类需要满足以下条件：

3.2.4 改进 DBSCAN 算法在激光雷达数据处理中的应用

图 3.7 改进 DBSCAN 算法流程图

（2）输入参数的改进，DBSCAN 算法对输入参数（聚类半径 ε ，聚类点数 MinPts ）

通过改进的 DBSCAN 算法可以对激光雷达数据进行聚类，数据密度集中的数据

（a） “L”模型 （b） “I”模型 （c） “inv-L”模型

（1）L 模型，当车辆在激光雷达的右前方时，扫描点模型表现为 L 模型；

Papageorgiou[113][114]提出，该特征库中包括了 4 种形式的特征，具体形式如图 3.9 所示。

（a） （b） （c） （d）

扩展 Haar-like 矩形特征是由 Rainer Lienhart 等人[115]提出的矩形特征是对最早提

（a） （b） （c） （d）

（e） （f） （g） （h） （i） （j） （k） （l）

在图 3.10 中可以观察到扩展 Haar-like 特征的第一行主要描述的是目标的边缘特

（a）点(x, y)积分图计算 （b）区域 D 积分图计算

如图 3.11（a）所示，定义图像的左上角为 (0, 0) ，设 I ( x, y ) 为图像中点 ( x, y ) 像素

在实际应用中， SAT ( x, y ) 采用递推的表达方法，递推表达式如下：

其中上式满足 SAT (−1, y ) = SAT ( x, −1) = 0 ，在计算的时候只需要按行或列遍历整张图

另外也可通过点 1、2、3、4 的积分图来表示矩形特征 D 的特征值，表示为：

（a）（b）（c）（d）（e）

（f）（g）（h）（i）（j）

（a）第 0 帧（b）第 178 帧

（c）第 299 帧（d）第 593 帧

（e）第 713 帧（f）第 1070 帧

（a）第 500 帧（b）第 1500 帧

（c）第 2297 帧（d）第 7661 帧

（a）（b）（c）

（a） “L”模型（b） “I”模型（c） “inv-L”模型

（a）（b）（c）（d）

（a）（b）（c）（d）

（e）（f）（g）（h）（i）（j）（k）（l）

（a）点(x, y)积分图计算（b）区域 D 积分图计算

（a）点(x, y)积分图计算（b）区域 D 积分图计算

（a）第 1274 帧原始 DBSCAN 聚类（b）第 1274 帧改进后 DBSCAN 聚类

（c）第 1787 帧原始 DBSCAN 聚类（d）第 1787 帧改进后 DBSCAN 聚类

（e）第 1872 帧原始 DBSCAN 聚类（f）第 1872 帧改进后 DBSCAN 聚类

（g）第 1598 帧原始 DBSCAN 聚类（h）第 1598 帧改进后 DBSCAN 聚类

（a）激光雷达视图（b）感兴趣区域（c）检测结果

（a）激光雷达视图（b）感兴趣区域（c）检测结果

（a）激光雷达视图（b）感兴趣区域（c）检测结果

（a）激光雷达视图（b）感兴趣区域（c）检测结果

CIE 彩色空间模型有两种常用的标准型，分别为 Lab彩色空间和 Luv彩色

（a）绿灯（b）黄灯（c）红灯

（a）色调（b）饱和度（c）明度

（a）色调（b）饱和度（c）明度

（a）色调（b）饱和度（c）明度

（a）原始图片（b）彩色分割（c）噪声处理

（a）原始图片（b）区域标记图