Multi source information fusion for video detection in highway

Modern Transportation September 2014, Volume 3, Issue 3, PP.49-55

Multi-source Information Fusion for Video Detection in Highway Jian Wang#, Jinzhang Ji, Weifeng Wang, Li Zhang Jiangsu Provincial Communication Planning and Design Institute, Nanjing Jiangsu 210005, China #Email: whut_wj@126.com

Abstract The accuracy and comprehensiveness of road traffic information detecting can be improved by multi-source information fusion.

Firstly, this paper takes video detection technology used in multi-source information fusion process as the leading factor to meet the demand of traffic information detecting. Secondly, multi-level fusion with traffic video information on data level, feature level and decision level is studied based on data fusion theory. Lastly, the method multi-source information fusion process of highway which is used for traffic state recognizing and traffic flow detecting is analyzed. This research provides a new method for the design and application of highway and transportation information detecting.

Keywords: Multi-Source Information Fusion; Video Detection Technology; Traffic Characteristics

多源信息融合的交通视频检测技术* 万剑，季锦章，王维锋，张立 江苏省交通规划设计院，江苏，南京 210005 摘

要：多源检测器信息融合可提升交通信息感知的准确性与全面性。本文根据交通信息感知需求，提出以视频检测技

术为主导的多源信息融合方法。基于数据融合理论，研究数据级、特征级和决策级的视频信息多层级融合方法；以交通 流、交通运行状态检测、判别为例，分析以视频检测信息为主导的融合过程。研究内容与结论可为交通信息感知设计、 应用提供新的思路。 关键词：多源信息融合；视频检测技术；交通特征

引言 当前公路、城市道路信息化建设逐渐向智能化发展，而良好的信息检测体系是减少交通感知层建设投 资、提高感知数据应用效能与增值服务的关键。构建全面、准确、具有决策能力的感知体系是智能交通系 统建设的当务之急。在众多的感知手段中，视频检测器信息量大、信息获取范围广，因此具有较好的适用 性。近些年随着高清视频技术、大带宽传输技术以及图像模式识别技术的快速发展，视频检测器感知能力 不再停留于抓拍的初级功能层面，具有一定数据加工、交通事件特性分析能力[1][2]。 尽管视频检测器逐渐向高清化、集成化、智能化发展，成为交通信息感知不可获缺的手段，但也存在 一些缺陷，如投资成本高、夜间存在检测盲区等、交通事件误检率高。如何系统化利用视频检测器，有针 对性融合其它感知手段，充分挖掘视频检测器信息，集成多种检测器的数据进行数据互补与信息判决，是 避免视频检测器应用中存在的各种问题，提高视频检测器应用效能的关键。

1

多源信息融合需求与必要性 现阶段公路交通领域有多种被广泛接受的检测器，能够获取的交通参数种类和形式不尽相同，时间与

*

基金项目：江苏省交通科学研究计划项目(2012X07-1) - 49 www.ivypub.org/mt

空间条件的适用范围各有差异，且都有自身的优缺点。表 1 以固定式检测方式中的线圈检测技术与视频检测 技术、移动式检测方式中的浮动车技术为例进行比较。 表 1 视频检测与其它检测手段比较 

 

输出参数



断面交通量



影响因素



检测器精度



时间适用 性



空间适用 性

 



线圈检测 

车辆速度、方向



浮动车辆样本数 量，采样频率 

全天适用 桥梁、互通、匝 道出入口安装受 限





浮动车技术 

视频检测

交通视频图像以及其它交通特征 

能见度、道路阴影、检测角度

全天适用



能见度低时存在盲区

隧道、高楼区等信 号覆盖弱的地段受 限



不易安装的地段受限

由于不同的检测方式的适用性与检测数据的表达方式可优势互补，有必要通过组合不同的交通检测器 进行综合利用，提高视频检测器的信息利用率与准确性。

1.1 增强检测器适用性 各种检测器在空间与时间上都有一定适用范围，需采用两种或多种检测器进行组合应用。视频检测器 在夜间、大雾等能见度低时应用受限，需要用其它检测方式融合补充，使交通参数在全天可检测；另一方 面，视频检测器并不能全程覆盖路段，因此采样间隔难以保证，需结合其它检测方式，填补信息感知路段 盲区。

1.2 提升检测系统健壮性 多种检测数据相互学习，选择合适的反馈与学习算法，可提高信息感知系统的健壮性。视频检测器能 获取直观的视频图像，经过图像模式识别后，能计算各类增值数据，如车辆行驶参数、交通特征参数、道 路状态参数、交通事件参数。但实际应用时，视频数据需根据真实值标定，不断进行算法学习，以确定视 频采集、分析算法的置信度; 同理，视频图像的增值数据在确定其正确性的前提下，可为其它检测器的结论 数据提供标定与学习的样本，使多种检测器具有智能反馈的学习能力。

1.3 提高信息决策准确性 交通数据检测的过程实质上是一个决策结论的推导过程，多种渠道的信息互补可提高决策的准确性。 文献[3]表明对具有相似或不同特征模式的多源信息进行处理，以获得具有相关和集成特性的融合信息，将这 些信息互补运算可改善不确定环境中的决策过程，可提高信息检测精度。

2

视频检测的数据融合 视频检测器具备后台分析能力，获取的交通信息涵盖道路参数、车辆参数特征，甚至交通运行状态、

异常交通事件也能很好地表达。视频检测器检测信息内容如表 2 所示。由于能输出丰富的多层次数据，以视 频检测器为数据源进行信息融合具有优势条件。 《多传感器数据融合手册》 [4] 将数据融合定义为用以估计或预测实体状态的一种数据或信息的综合过 程。该定义指出数据融合的手段是信息综合，目的是估计或预测状态。而在交通信息感知应用中，利用视 频检测数据与其它传感器数据融合，进而判别与预测交通参数与状态，正是多传感器数据融合技术在交通 中的典型应用。按照《多传感器数据融合手册》中数据融合的层次，数据融合分为数据级融合、特征级融 - 50 www.ivypub.org/mt

合和决策级融合三个级别，在实际应用时，通常采用多个层级融合的组合方法。 表 2 不同层次的视频检测器检测信息内容 

信息层次



低级层次



中级层次



高级层次





信息类别

数据内容



交通原始数 据



有无车辆通过断面、车辆经过断面的时间、通行车辆长度、车辆行 驶车道



交通特征数 据



交通量、速度、密度、占有率、行程时间、车头时距、排队长度、 中断率



交通运行状 态与事件数 据



交通运行状态(通畅、基本通畅、一般、拥挤、堵塞)，交通事件(停 车、排队、逆行、抛洒物、能见度等)

数据级融合直接在采集的原始信息上进行融合，层次最低。融合方法一般采用多传感器数据自适应加 权融合或滤波算法，如指数平滑法、统计推断法、卡尔曼滤波等 [3][5]。融合过程不要求获知传感器测量数据 的任何先验知识，及时调整各传感器的权系数，使系统均方误差最小。通常数据级融合应用于数据的预处 理和数据的简单关联。 特征级融合不直接利用原始数据，而是对来自传感器的原始信息进行特征提取加以利用，属中间层次 融合。特征级融合一般采用神经网络、聚类、模板等算法 [6][7]，最大限度给出决策分析所要的特征信息，更 有利于融合特征的快速体现，但准确性因数据丢失会有所下降。一般利用特征级融合方法从众多数据特征 中判别与预测交通参数。 决策级融合按照一定的准则以及每个传感器的可信度进行协调，作出全局最优决策，属最上层的融 合。目前较成熟的应用方法有贝叶斯推理，D-S 论据，模糊集理论，专家系统等分析方法 [6][7][8]。决策级融 合结果为检测、控制、决策等提供依据，直接影响决策水平。在实际应用中，较多将决策级融合应用于交 通运行状态识别和交通事件检测领域。 原始数据

数据预处理

数据关联分析

数据运算

视频检测器

[t0-t1]时刻有 x0辆车经过 断面检测点

数据清理

数据分型

指数平滑法

数据集成

相关性分析

统计推断法

检测器1

[t0-t1]时刻有 x1辆车经过 断面检测点

数据变换

相关性检验

卡尔曼滤波

数据归约

异常分析

. . .

. . . 检测器N

[t0-t1]时刻的 数据缺失

融合结论

[t0-t1]时刻有 x辆车经过 断面检测点

图 1 视频检测的数据级融合示例 原始数据

特征提取

数据关联分析

数据运算

视频检测器

[t0-t0']时刻有 x0辆车经过 断面检测点

车流量为y0 , 车流量较大

数据分型

神经网络算法

相关性分析

聚类算法

检测器1

[t1-t1']时刻有 x1辆车经过 断面检测点

车流量为y1, 车流量很大

[tn-tn']时刻有 xn辆车经过 断面检测点

车流量为yn , 车流量一般

. . . 检测器N

相关性检验

模板法

异常分析

. . .

图 2 视频检测的特征级融合示例

- 51 www.ivypub.org/mt

融合结论

车流量为y , 处于饱和状态

原始数据

特征提取

数据关联分析

数据运算

数据分型

贝叶斯推理

视频检测器

[t0-t0']时刻有 x0辆车经过 断面检测点

车流量处于 饱和状态,行 驶车速较小

检测器1

[t1-t1']时刻有 x1辆车经过 断面检测点

车流量处于 饱和状态, 行驶车速较小

[tn-tn']时刻有 xn辆车经过 断面检测点

车流量处于 过饱和状态, 行驶车速较小

. . . 检测器N

相关性分析

融合结论

D-S论据 模糊集

交通拥堵

相关性检验

异常分析

专家系统 . . .

图 3 视频检测的决策级融合示例

数据融合应用分析

3

目前，基于以上研究现状与应用需求，交通学者将视频与其它检测器的三个层级融合思想广泛应用于 交通信息融合领域，进行预测与判决交通流数据，分析交通运行状态，为路网信息全面准确感知与信息挖 掘提供依据。

3.1 交通流检测的信息融合 路网实时和短时交通流量数据是交通管制、车辆诱导与交通预警的重要依据，利用多源检测器进行融 合一直是研究的热点[9]。交通流特征是交通信息分析处理中的低层数据，因此数据量大、数据异构复杂。采 用数据融合时需考虑计算的复杂度；同时交通流具有典型的非线性特征，算法需适应非平稳随机信号的变 化。 市场上成熟的检测器均能输出断面交通流量，但交通流量是一种连续的变量，有限采样、单一的检测 器并不能很好地表征这种特性。另外，特别是对于公路主线的交通流检测而言，上下流的交通流相关性影 响更值得关注，因此实现路段与路网交通流检测与短时预测是交通流检测的重点，也是多源检测器信息融 合目标。研究应用表明，神经网络法有较好的效果[10]。 路段视频检测器

路段其它检测器

原始数据预处理 （低级层次）

数据预处理

时间关联 空间关联 数据融合输入数据集 数据运算

路段与路网交通流特征 交通流量、排队长度、 密度、占有率、行程时间、 行驶速度、行程速度、

图 4 基于视频传感器的交通流检测信息融合

视频与其它传感器的交通流检测器的信息融合框架如图 4 所示。传感器数据经过数据预处理，得到时间 连续、空间连续且较为完整准确的数据集，接入到运算模型，输出路段路网交通流信息。在此过程中，数 据预处理是信息融合的基础保障，信息融合的关键是建立各个固定检测点数据的空间、时间关系，并加以 - 52 www.ivypub.org/mt

运算。时空联系与数据运算通常是两个密不可分的步骤，因而构建的融合算法既对数据的时空进行有效描 述，同时又对交通流数据、特征进行聚合，得到精确离散点的交通流并能推算连续路段交通流数据。

3.2 交通运行状态检测的信息融合 从研究与应用来看，交通运行状态信息更适用于路网的管理与信息服务。交通管理与营运需要交通特 征级与决策级的的信息，直接明了地表达交通的通畅或拥挤程度，从而辅助管理者快速精准地作出交通管 理与控制决策。 我国交通运输部颁发的《公路网运行监测与服务暂行技术要求》明确 6 个单项指标和 1 个综合指标来表 征交通运行状态，综合指标是单项指标的综合表示。各指标内容如表 3 所示。 表 3 交通运行状态指标 







指标类型





指标名称 

中断率



拥挤度

 

指标内容 路网的中断状态

路网内交通流拥挤程度 

环境指数

行车的适宜程度

单项指标 

综合指标





节点通阻度



设施健康状况



突发事件等级

关键节点的拥堵或畅通状态  

路段其它检测器

交通特征数据预 处理（中级层次）

交通特征提取

事件的预警和响应级别 

公路网综合运行指数

路段视频检测器

基础设施的健康状况

路段视频检测器

路网整体运行状况

路段其它检测器

时间关联

交通决策数据预 处理（高级层次）

空间关联 数据融合输入数据集 综合滤波 特征级融合

交 通 运 行 状 态

交 通 运 行 状 态

交通运行状态

时间关联 空间关联 数据融合输入数据集 逻辑推理 路网、路段畅通度、出行效率 高底、安全性和可靠性程度

图 5 基于视频传感器的交通运行状态识别信息融合

从表 3 中可看出，交通运行状态不仅能作为交通信息的一个特征，而且能作为交通信息的最终决策结 - 53 www.ivypub.org/mt

论。因此交通运行状态检测的信息融合方法中，交通运行状态既可作为融合算法的输入，也可作为输出。 信息融合可采用特征级与决策级模型，但由于交通运行状态信息的分级与描述存在定性信息，所以利用决 策级的逻辑推理技术进行融合判决的方法更为适用，如模糊理论、粗糙集往往效果较好[11][12]。

4

总结 信息感知是智能交通系统建设的基础，如何利用多检测器提升信息感知的准确性与全面性，增强各检

测器系统的应用效能，是目前面临的重要问题。在此背景下，本文以视频检测的多层次信息融合利用为切 入点，研究交通检测信息融合技术。 (1) 信息融合技术用于交通感知领域是有必要的。交通检测器信息融合可将多种不同表达方式、不同时 间地点的检测数据进行数据互补，行成全范围覆盖的数据集。在此基础上，对数据进行优化分析，获得更 准确、更高层的信息。 (2) 视频检测手段用于交通感知数据融合体系中具备一定优势。尽管属于固定式检测手段，但视频检测 数据信息量大，能输出多层次、多特征的融合基础数据和特征信息，有利于各个层级的信息融合应用。 (3) 在实际应用中需结合具体的融合目标采用不同层级的融合运算模型。数据级、特征级、决策级的融 合均可应用于视频检测数据融合技术，但各自均有不同的适用范围。同一个层级的融合方法，其运算模型 也有不同的侧重。 (4) 信息融合可用于路网交通流、交通运行状态等检测过程，具有现实意义。在交通流、交通运行状态 的特征分析、决策推导等信息挖掘过程中，通过数据预处理、数据时空关联、数据运算将数据转变为信 息，从而更好地为路段、路网的监测预警与管理决策服务。

REFERENCES [1]

LIU Wei-ning, ZENG Heng, SUN Di-hua,et al. Video-based Discriminant Model of Traffic Congestion[J]. Application Research of Computers, 2010, 27(8):3006-3008.

[2]

JIANG Xin-chun, LIU Xiao-ming. Analysis of Vehicle Behavioral Safety on Freeway Based on Video Detection[J]. Journal of Highway and Transportation Research and Development, 2010, 27(1):122-125.

[3]

YANG Zhao-sheng, Feng Jin-qiao, ZHANG Lin. Kalman filtering based Traffic Information Fusion Method[J]. Journal of Jilin University (Engineering and Technology Edition), 2007, 37(5):1039-1042.

[4]

David L.Hall,James Llinas. Handbook of Multisensor Data Fusion[M]. Beijing: Publishing House of electronics industry, 2008.

[5]

YANG Zhao-sheng,WANG Shuang,MA Dao-song. Review of Basic Traftic Data Fusion Methods[J]. Journal of Highway and Transportation Research and Development, 2006, 23(3):111-116.

[6]

GONG Da-li. Study on the Key Technology of Urban Traffic Intelligent Monitoring System[D].Xi’an: Chang'an University,2009.

[7]

GUO Lin.Traffic Information Collection based on Information Fusion[D].Hefei: University of Science and Technology of China, 2007.

[8]

WENG Jian-cheng, ZHAO Xiao-juan, RONG Jian. Urban Expressway Automatic Incident Detection Algorithm Based on D-S Theory[J]. Journal of Highway and Transportation Research and Development. 2011, 28(12):112-116.

[9]

Lim, S, Lee, C. Data fusion algorithm improves travel time predictions[J]. 2011, 5(4):302-309.

[10] LI Cun-jun,YANG Ru-gui,JIN Fan. Data-Fusion Prediction of Traffic Information Based on Artificial Neural Network[J].

Systems Engineering. 2004, 22(3):80-85.

[11] YANG Zhao-sheng, YANG Qing-fang, FENG Jin-qiao. Fuzzy-combination Algorithm for Traffic Incident Identification[J].

Journal of Highway and Transportation Research and Development, 2003, 20(4): 92-94.

[12] Yingjie Xia, Zhoumin Ye , Yiwen Fang, et al. Parallelized extraction of traffic state estimation rules based on bootstrapping rough set[C]. //Fuzzy Systems and Knowledge Discovery (FSKD), 2012 9th International Conference .Sichuan. 2012:1532-1536.

- 54 www.ivypub.org/mt

【作者简介】 1

万剑(1984- )，男，汉族，硕士，工程

2

季锦章(1966- )，男，汉族，本科，高级工程师，研究方向

师， 研究方向为智能交通系统应用及关

为智能交通系统应用及关键技术、智能交通规划。毕业于吉

键技术、交通物联网技术。毕业于武汉

林大学。Email: jijinzhang@126.com。

理工大学。Email: whut_wj@126.com。

3

王维锋(1979- )，男，汉族，博士，工程师，研究方向为交

通物联网、交通安全分析、交通系统仿真、交通事件与状态 识别技术。毕业于武汉理工大学，攻读博士期间国家公派留 学于美国 University of Central Florida 土木环境与建筑工程系 交通运输工程专业。Email: wangweifeng100@126.com。 4

张立(1990- )，女，汉族，本科，助理工程师，研究方向为

智能交通关键技术。

- 55 www.ivypub.org/mt