摘要

　　目前，世界各地都在不断增加对智能交通系统的投入，提前对该系统进行战略布局,借此为城市找到新的发展点和新的生机。交通信息系统为城市提供快捷的交通引导，能够为城市公众出行提供必要的技术支持，也是交通事故处理系统的一个重要分支。交通流量预测是解决交通信息系统的一个关键点，但是城市的交通都具有其自身特点，且交通流具有一定的复杂性，用代数表达式准确的来分析它的变化情况和规律非常困难。因此，对交通流预测的研究具有十分重要的实际意义。

　　深入研究XGBoost及lightGBM原理，发现lightGBM对特征筛选具有较好的优势；目前lightGBM还未在短时交通流量预测研究中应用，其是否比XGBoost更适合进行短时交通流量预测，预测结果是否更加可靠、准确性是否更高、花费时间是否更短，成为一个亟待验证的问题。通过短时交通流的典型特征对模型的适用性的分析，依据道路网、节假日及天气等情况进行空间和时间复杂度的分析建模，结合实测的历史交通流数据进行预测仿真；选取BP神经网络、随机森林、线性回归、XGBoost、lightGBM这五种短时交通流量预测方法来搭建相应的预测模型，验证lightGBM算法对交通流的预测效果。然后使用lightGBM对已经搭建的模型参数进行特征的排序筛选处理，使模型参数更加可靠、准确性更高。

　　通过lightGBM和其他四种方法搭建模型进行交通流预测，对比分析预测结果可以发现，无论是否进行特征排序筛选处理，lightGBM搭建的模型都要远远优于其它四种方法搭建的模型，且lightGBM对短时交通流量的预测结果最佳。在五种模型预测中，经过lightGBM特征筛选排序处理后，模型的预测结果更贴近真实数据。与lightGBM相比XGBoost的训练速度慢，不能较好反映交通流的时变性特征。验证了lightGBM可以大幅度的提高模型的预测精确度，为解决交通流预测问题提供了一个更加精确可靠的方法。

　　关键词：短时交通流量；机器学习；XGBoost；lightGBM；

Abstract

　　All parts of the world are continuously increasing their investment in intelligent transportation systems and strategically laying out the system in advance to find new development points and new vitality for the city. The traffic information system provides a quick traffic guidance for the city and can provide the necessary technical support for the city's public travel. It is also an important branch of the traffic accident handling system. Traffic flow forecasting is a key point to solve the traffic information system, but the traffic in the city has its own characteristics, and the traffic flow has certain complexity. It is very difficult to use algebraic expressions to analyze its changes and laws accurately. Therefore, the study of traffic flow prediction has very important practical significance.

　　In-depth study of XGBoost and lightGBM principles, found that lightGBM has a good advantage of feature screening; lightGBM has not yet been applied in the short-term traffic flow prediction research, whether it is more suitable for short-term traffic flow prediction than XGBoost, the prediction results are more reliable Whether the accuracy is higher and the time spent is shorter has become an issue that needs to be verified. Through the analysis of the applicability of short-term traffic flow typical characteristics of the model, based on the road network, holidays and weather and other spatial and temporal complexity analysis modeling, combined with the measured historical traffic flow data for prediction simulation; select BP nerves Network, random forest, linear regression, XGBoost, and lightGBM are the five short-term traffic forecasting methods to build corresponding forecasting models to verify the traffic prediction effect of the lightGBM algorithm. Then use lightGBM to sort the model parameters that have already been built to make the model parameters more reliable and accurate.

　　The model is constructed by lightGBM and other four methods to predict traffic flow. Comparing and analyzing the forecast results, we can see that the lightGBM model is much better than the other four methods, regardless of whether or not the features are sorted and screened. The short-term traffic flow forecast is the best. In the five model predictions, after the lightGBM feature filtering and sorting process, the prediction results of the model are closer to the real data. Compared with lightGBM, XGBoost has a slow training speed and cannot better reflect the time-varying characteristics of traffic flow. It is verified that lightGBM can greatly improve the prediction accuracy of the model and provide a more accurate and reliable method for solving traffic flow prediction problems.

　　Key Words：Short - time traffic flow; machine learning; XGBoost; lightGBM;

目录

　　1 绪论

　　1.1 研究背景

　　随着城市人口不断增加，城市交通引起的问题越来越引起人们的关注，交通问题已经成为亟待解决的关键问题。其重要性不仅体现在交通问题已经和个人行为密切相关，而且对宏观的城市建设及规划管理具有决定性的影响。在车辆种类和数量规模极其庞大且不断增长的情况下，解决交通问题的最迫切需要是如何避免拥堵，提高交通效率[7]。在此之前，在城市的初期规划设计时，也要考虑城市建设的方方面面，以此建设出布局合理的城市结构。交通堵塞和低效率已成为全球性问题。无论是发达国家还是发展中国家，城市人口的大量增加带来的最直接问题是交通车辆的增加和交通拥堵的频发，日常的交通状况的改善还需要通过提高通行效率来入手[7]。为了改善交通拥堵状况，如今已经进行限制车牌号和摇号等措施，然而在车辆总数不能减少的前提下，只能防止极端的拥堵情况的出现。提高交通效率可以从多个方面入手，而目前大数据的兴起，为此提供了新的解决思路，每天各个城市中都会形成大量的交通数据，此前，这些数据没有充分体现其价值，但是随着大数据处理的迅猛发展，这些存储的数据开始发挥其作用。通过大数据的分析处理可以为交通问题的解决提供一种新的思路。在智能交通系统（Intelligent Traffic System）中，有许多重要环节，而对短时交通流量的预测在 ITS 中起着不可替代的作用，对城市路网的整体设计和建设有深远影响。为了建设智能城市，实时地预测交通流量是一个亟待解决的问题。

　　一般情况下，长时交通流量的预测指的就是在某一个地点通过监测一个月或者一年的时间来计算该段时间内的交通流量值。但是由于交通具有时变性的特点，使得对预测这么长时间的交通流，在实际生活应用中并不突出。而对预测较短时间内的交通流量有非常重要的价值[8-10]。目前，在预测短期交通流量时，先进人工智能技术已经得到广泛应用。要想对短期交通流量进行尽可能准确的预测，就需要大量的交通数据，实时的数据和以往的历史数据都有很大的利用价值。目前，交通数据绝大部分都是通过传感器技术、GPS 定位技术等进行收集存储。在交通问题的解决上，一些科研人员开始关注发展较快的机器学习技术，如果能顺利将该项技术应用到交通问题上将会对解决交通流预测问题有积极地意义。机器学习模型已经在很多领域得到了应用，而在交通流预测上还缺乏系统的研究。此前也有一些研究人员对交通流量预测做过一些实验，例如使用深度置信网络和使用横式自动编码机来进行预测研究。这两种研究方式具有相同点，通过将监测到的大量交通数据作为输入，使其进行预学习处理，并将处理后的结果作为输出来对交通流进行预测。

　　即便已有上述一些研究，但不可否认的是，目前使用的方法，尚不能满足实际预测的需要，主要存在两个题：一方面在经常出现大量车辆的城市区域，不同地点的车流量在车辆运动中往往会互相影响。在复杂的路网中，因为时变性的原因，会使得在路网中不同时间地点会有很大的差异，而这些差异和很多因素有关，例如，城市中各道路的拓扑关系、天气因素的影响等等。之前的方法只是针对时间序列的数据建立模型，而不考虑这些空间关系[11]。另一方面先前的预测方法对交通流的特征的选取界限难以决断，导致信息量不足或存在误导，对高精度的交通流预测有很大的不利。本文的研究重点就是结合上述两点的不足，在同等固有属性的条件下，验证 XGBoost、lightGBM 是否对解决此类问题有更好的预测效果及 lightGBM 在特征筛选后是否能够提高其他预测方法及自身的预测精度。

　　1.2 研究目的及意义

　　在国民经济发展中，交通运输业是其它各行业蓬勃发展的基石，它的发展程度的高低对我国经济的平稳运行有着直接的关系。交通运输行业快速发展的同时，其自身也带来了很大的问题，例如，交通事故、交通堵塞以及大气污染等一系列问题，这些状况已成为影响我们生活质量的重要问题，需要引起我们的重视。不同的城市也开始摸索适合自己发展和特点的智能交通系统，实现智能交通预测，来解决城市出现的具体问题。交通流智能预测开始受到各大城市的重视，这是因为它会根据想要预测的区域的实时和过去一段时间的交通流数据进行具体的内部分析，找出内部相关联的参数特征，通过搭建准确的数学模型，再借助一些先进的算法来估计未来一段时间，在该区域的交通流量。根据这种方法，城市交通管理部门可以对复杂的交通情况进行实时监测，提前预测，辅助道路疏导工作的开展。这对城市的行车安全和通行效率有积极的意义。

　　这不但可以为城市路网设计和规划提供重要的参考，而且还能为城市相关政策和交通发展规划提供理论和实时依据。对交通流的变化规律的预测，是城市交通管理的重要的技术支持，并且对提前获知道路交通状况、预防交通拥堵以及对交通事故的估计提供重要的技术支撑。通过对已有的数据分析，可以知道我国城市交通事故频发的主要原因是城市道路通行效率底下和交通堵塞。这个方面的问题不是某一个城市问题，而是所有大城市的通病。通过交通流量预测及时调整主要道路是缓解城市交通拥挤重要途径之一。所以交通流量预测对降低事故发生率和缓解拥挤堵塞的道路环境有着积极地意义；同时，也可以为公众提供便捷、舒适的出行环境。

　　在对某一区域监测时，因考虑到监测过程是一个随机过程，具有时变性和没有固定数学规律的特点，并且和统计时间也有很大的关系，统计时间越长，稳定性就越好，这也是短期交通流预测的一个难点[5]。由以上分析，交通流量预测对降低事故发生率和缓解拥挤堵塞的道路环境有着积极的意义,也是保证城市通行效率的重要保障[8]。而这些问题的关键一点就是对短时间内的交通流预测需要精准，这也是本文面对这些问题改进传统方法及验证评估 XGBoost 及lightGBM 等新方法适用性的目的。

　　1.3 国内外研究现状

　　在短期交通流的研究过程中，怎样将先前的预测模型和传统预测原理运用到短期预测的上面，外国学者早在二十世纪六十年代就展开的这个领域的研究，并取得了一些实际性的可观效果。对短期流量预测问题的建模研究中，大体上都使用两中方法，两种方法的主要区别在于数学模型的建立上。目前，不带数学模型的方法较为常见有线性回归算法和神经网络法；而另一种方法主要有卡尔曼滤波以及时间序列算法[1-5]。其中，时间序列模型有一种应用范围很广的应用模型，即 ARIMA 模型，在二十世纪七十年代，两位科学家 Jenkins 和 Box 通过一些列的试验建立起来的。使用这个模型可以对随时间复杂多变的交通流进行高精度的预测，但是这种模型的一个主要缺点就是参数预估运算更为复杂。上世纪六十年代初，着名科学家卡尔曼提出了一种模型，该模型有较高的预测精度并且有着预测选择上也较为灵活的优点，即卡尔曼滤波模型。该模型有较好的稳定性和鲁棒性。但是这并不是一种在什么情况下都能使用的模型，它的主要应用范围在线性估计上。而对于交通流的预测，具有较强的非线性特征，故即便在几分钟的段时间预测，也会存在较大的误差。

　　人工神经网络也是一种有效的算法，该算法在上世纪四十年代左右被提出来，在很长一段时间里，该算法在交通流预测方面并没有太多的应用，直到 1901 年左右，着名科学家 chin 通过对交通流数据的分析从而验证了该算法在交通流领域的有效性。与此同时，Clark 等两位学者在对短时间内交通流进行分析研究过程中，也验证了该算法的有效性。从而在很长一段时间，国内外学者都开始对该算法展开深入的研究，以使该算法在较短时间内的流量预测中发挥重要的实践价值。但是，并没有一种方法是适应所有的，该算法想要合理精确地使用，需要相当大量的数据供其进行学习分析，而如果目前掌握的数据量不能够满足该算法的前期学习分析，该模型的预测结果将会和实际情况有很大的出入。随后，有学者开始将模糊控制同该算法进行结合来预测交通流，即模糊神经网络算法。通过大量的验证发现，面对复杂时变的交通环境，该算法能够取得非常好的应用效果。2006 年，Kai Cao 等学者提出了组合 ARIMA 模型，是 Darong Huang 等构造了一种结合小波变换和神经网络方法的交通流时间序列的组合预测模型 WANN，通过验证该模型能够取得很好地效果。截至目前，国内对短期交通流预测状况同国外的发展状况相比较分析，可以知道由于我国自身的特点，在该领域尚处于起步阶段。

　　想要在实际中应用还有很长的路要走。在该领域，天津大学马寿峰教授通过使用分型理论可以得到在短时间内得到较好的预测效果。与此同时，吉林工业大学朱中和教授将道路上的交通流分为两段，分别为上游和下游，并将上下游进行有效结合组成具有线性关系的数学函数。通过测试最近两个星期内任意一天交通流的差和比来预测未来一段时间内的交通流的变化情况。

　　通过实验验证，该算法取得了令人满意的的效果，有较高的精确度。不仅上述学者建立的一些模型，还有许多学者对模型进行探索研究。比如王殿海教授建立的模型，该模型同最小二乘原理进行结合，在交通流预测过程中提供了很好的研究思路，进一步丰富了该领域的成果。与此同时，贺国光教授对小波分析有着深入的研究，并将这种方法应用到流量预测上去。也得到了重要的理论参考价值，对交通流预测模型的搭建提出了新的方法。

　　目前，已经应用于日常生活的交通流量可视化都是针对实时状态（即正在进行时），对将要出行道路的优选具有一定的滞后。这种滞后虽能对未进入此区域的交通有相应的引导作用，但却不能对 15 分钟短时内刚进或已经进入的车辆进行决策引导，所以，对在该时间段的交通流预测就显得有很大的实际意义。

　　上述方法都是基于传统的模型进行交通流量的预测，而没有对最近研究热度较高的xgboost[11]及 lightgbm[12]进行交通流量方面的预测分析。查阅文献发现，在算法模型方面，对 xgboost 及 lightgbm 的应用还很缺乏，具有参考价值的研究成果还需要我国众多学者的共同努力。短时交通流量预测作为城市道路交通诱导决策的重要支持，在智能交通系统中具有关键性的基础作用。短时交通流量的变化受多种因素的影响，采用传统建模方式不仅较为繁琐，对己建立好的模型也不易移植[6]。在文献[7-23]中筛选出常用的传统算法进行预测精确性的研究对比，并通过 lightgbm 生成的新特性重新优化算法，最终选出最优的算法，并利用此算法应用于短时交通流量对未来某个时间点进行预测，对该区域内将要发生的交通状况进行提早的防备。

　　1.4 本文研究的内容和技术路线

　　本文以贵州省公开的数据为预测数据集，分别利用线性回归、随机森林、BP 神经网络、XGBoost、lightGBM 模型进行初步预测， lightGBM 目前没有应用于短时交通流量的预测，lightGBM 为 2017 年出现并很快流行的模型，本文以研究这些模型是否在短时流量预测方面优于其他常规模型为主要内容，并通过比较验证 lightGBM 在短时交通流量预测方面是否相比其他方法的存在明显优势，最后再结合 lightGBM 模型在筛选特征方面的优势，看是否能够提升自身模型及传统模型的预测精度，最后验证 lightGBM是否是最佳的预测模型。

　　1.4.1 研究内容

　　本论文分为六个章节，其中包括：第一章为绪论，对本文研究内容的背景和意义进行了详细的叙述，与此同时，也对目前该领域在国内外的研究状况进行对比分析。对本文的研究内容也进行了简要的介绍。第二章为短时交通流量及相关工作，主要介绍了短时交通流量预测的相关概述及现在常用来解决此类问题的预测方法。第三章为本文对短时交通流量预测所使用的相关理论及算法原理的介绍，特别是近两年比较流行的 XGBoost 模型及 lightGBM 模型的算法原理及优缺点。第四章为主要分析说明数据集相关的内容，并对数据集进行描述统计和数据的预处理。第五章为实验优化模型及结果的分析应用，主要用于构建并改进五种模型并对结果进行分析总结。第六章为总结展望，总结本论文试验研究所得出的结论，同时依据结论总结相关特征对交通流量的影响，并对本论文所研究内容存在的不足之处加以总结。

　　1.4.2 技术路线

　　本论文研究主要包括四个部分

　　（1） 特征工程的搭建过程以交通流量预测知识体系为背景作为原始数据源的基础分析，找到数据集中对因变量有影响的全部自变量，并根据结果进行生成、提取、删减或者组合。

　　（2） 依据分析处理后的样本数据及特征，选取线性回归、随机森林、BP 神经网络、XGBoost、lightGBM 五种算法进行比较，验证 lightGBM 是否适合此样本下短时交通流量的预测。

　　（3） 利用 lightGBM 进行特征参数的排序筛选并重新建模，去优化其他模型及自身模型，比较最后的预测结果，看是否能够提高各个模型的精确度，验证经过lightGBM 特征筛选后，对各个模型都有一定程度的优化，同时验证经过lightGBM 特征筛选后 lightGBM 是否更适合短时交通流量预测。

　　（4） 根据试验得出的结果，分析论证对交通流量预测影响较大的几个典型特征。

【由于本篇文章为硕士论文，如需全文请点击底部下载全文链接】

　　2短时交通流量预测概述
　　2.1短时交通流量
　　2.1.1交通流概述
　　2.1.2交通流的典型特征
　　2.2所选用的预测方法
　　2.3本文整体框架结构图
　　2.4本章小结

　　3短时交通流量预测相关理论
　　3.1三种传统算法原理分析
　　3.1.1线性回归算法原理
　　3.1.2随机森林基本原理
　　3.1.3BP神经网络
　　3.3XGBoost模型算法原
　　3.3.1算法基本原理
　　3.3.2正则化项
　　3.3.3树的生成

　　3.3.4优缺点
　　3.4lightGBM模型算法原理
　　3.4.1GBDT梯度迭代决策树
　　3.4.2Gradient-basedOne-SideSampling算法
　　3.4.3ExclusiveFeatureBundling算法
　　3.4.4Histogram-basedAlgorithm算法
　　3.4.5带深度限制的Leaf-wise的叶子生长策略
　　3.5短时交通流量预测模型比较
　　3.5.1传统模型及XGBoost模型的比较分析
　　3.5.2lightGBM模型的适用性分析
　　3.6本章小结

　　4短时交通流数据剖析
　　4.1采集短时交通流的数据概述
　　4.2短时交通流的探索性分析
　　4.3预处理短时交通流数据
　　4.3.1One-Hot编码处理分类型变量
　　4.3.2对样本缺失值的处理
　　4.4短时交通流的可视化分析
　　4.4.1时间复杂度的可视化分析
　　4.4.2空间复杂度的可视化分析
　　4.5本章小结

　　5预测模型设计建模及参数优化
　　5.1预测模型的性能评价指标
　　5.2原始特征的建模与调优
　　5.2.1原始特征的传统预测模型的建模与调优
　　5.2.2原始特征新兴预测模型的建模与调优
　　5.3原始特征各模型的比较分析
　　5.4特征子集的构建与重建模
　　5.4.1特征子集的传统预测模型的建模与调优
　　5.4.2特征子集的新兴预测模型的建模与调优
　　5.5特征子集各模型的比较分析
　　5.6本章小结

6总结和展望

　　6.1总结

　　通过本论文验证了lightGBM对此样本下的短时交通流量预测更为有效，为短时交通流量预测找到了一种新的预测算法模型。同时利用lightGBM对原始特征进行排序筛选，分别选取了重要性最靠前的20、30和40个特征，作为候选特征子集重新建模训练，优化五种预测模型。从实验结果，过少的特征子集会丢失一些有用的信息，导致模型的准确率有所降低，而当特征子集的数量为30或者40时，特征子集在包含了绝大部分有用特征的同时，删除了一些噪声和冗余特征，使得模型的效果有较为明显的提升。同时，由于输入的变量维度降低，模型的训练时间相比原始数据减少，提高了模型的训练效率，增加了模型的实用性。以上试验结果均验证了经过lightGBM特征筛选后，对五种模型的预测效果都有所提高，且lightGBM仍是此样本下最为适合的模型。

　　6.2展望

　　短时交通流量预测可以应用在生活的各个方面，例如在出行前，对可能要经过的路口进行一定程度的拥堵预测，如果发现会经过拥堵路段，可以及时改变出行规划，进而提高出行的效率。本文实验采用了各种方法对采集到的数据进行建模分析，在实验过程中发现也有很多可以改进的方面。首先是数据源方面，可以采集更多更加精细的数据，或者采集更多维度的信息，来提高数据质量；其次，在算法选择方面，我们没有尝试现在比较火热的深度学习模型，进一步的探究如何将深度学习模型应用在本数据集中；最后，我们还可以使用集成算法来进一步提高模型的性能，从而更准确的预测路口的平均通行时间。

　　致谢
　　参考文献

【由于硕士论文篇幅较长，此页面不展示全文，如需全文，请点击下方下载全文链接】

TAG标签： 短时交通流量     XGBoost     机器学习