首页 > 编程知识 正文

数据挖掘应用实例,交通大数据理论与方法

时间:2023-05-03 06:19:56 阅读:53168 作者:2785

与其他城市规划管理领域相比,城市交通精细化数据更多、丰富,因此大数据、数据挖掘在交通领域的应用也更广泛。

一、数据源和分类

Han Hsiao已经提到的大数据来源,包括停车管理数据、车牌识别数据等交通领域数据和POI数据、手机信令数据等相关领域数据,参考同济大学wwdsy老师在某学术会议上的发言一次观测数据:例如浮动车GPS数据、道路卡口数据、停车管理数据等;

连续观测数据:手机信令数据、局域网(lbs )数据(如微信、使用百度时留下的位置数据)、路况数据),如黄金、百度等公司

基础数据:点对点(poi )数据(如大众点评上的商家数据)、企业工商管理数据、房价数据等;

(以上“单一观测”和“连续观测”根据个体移动(或交通工具)的观测观点进行区分。 根据上下文不同,也有所属类别不同的数据。 例如,浮动车的GPS数据对个人出行是“单一观测”,对出租车运营是连续观测)。

二、为什么要用大数据分析城市交通

这些数据的好处主要是细粒度。 其中包括数据对象的细粒度、时间细粒度和空间细粒度。 首先是数据的对象。 大数据往往描绘“某个人、某条路、某出租车/公交车、某餐厅”等。 不是“某区”、“某团体”、“某交通工具”之类的。 另一方面,数据对象的细粒度往往伴随着空间的细粒度,许多数据通过纬度和经度而不是传统的“市/区/街”来表示空间的位置。 对于时间细粒度,可以参加以下更新速度;

更新快:以城市交通综合调查为例,五六年可能只有一次。 人口普查基本上是十年一次,经济人口普查大约是五年一次。 但是,与这些数据相比,大数据的更新速度更快,例如出租车上的GPS数据,用我处理的数据,基本上在90s以内更新一次。

连续性:如上所述,许多数据是对某一数据对象的连续观测,因此我们可以从该个体的长期行为中提取该个体的行为规律。

信息丰富:这个我不多说了,上面列举了那么多数据。 不丰富吗?

充分利用上述优点,可以进行更加多样、细微化的分析。 空间尺度可以从宏观到微观,时间尺度可以从年度/月/日到每小时/30min/5min或更小,分析的维度/角度也可以更元、更立体。

融合多源异构数据,寻找现象之间的秘密联系:城市是一个复杂的巨大系统,各子系统之间相互影响,将各种数据联系起来,发现城市现象之间的关联关系;

分析个体选择行为,发现个体偏好:大量连续的基于个体的数据,为各种disaggregate model的构建和拟合提供了数据基础;

.

三.数据应用实例

大数据、数据挖掘在交通领域的应用包括辅助交通规划、交通管理、交通监测、相关决策等,根据研究的空间尺度可分为城际尺度和城市交通尺度。

总的来说,大数据可以详细回答交通领域关心的很多基本问题,比如“人在哪里”、“从哪里来、去哪里”、“怎么走”、“什么时候发生”等等。 而且,从中派生的还有“不拥挤”、“不远”、“不单调”、“利用不充分”、“利用不充分”等,还有“为什么”、“有关系吗”、“怎么办”等。

具体而言,有以下几点。

1 .人口活动:通过手机信令数据、LBS数据等个体连续观测数据,分析人群聚集、移动特征等,量化地理空间联系等。 城际尺度:城市群分析、城际联系(如经济活动、异地就业)等。 这部分是和原同事们写的文章(《城市圈粉指南:那些相爱相杀的城市》,因为在国外,找不到市政府文章的链接,请谅解(),简单贴两张图。 城市尺度:人口分布、职住关系、人口迁移和集散变化等。 (图:贵阳各街道劳动人口通勤距离: 图:来自地区人口热望、地区热望)

2 )交通运行)利用上述浮动车GPS数据、公交利用卡数据、道路利用卡数据、车牌识别数据、道路运行数据等,分析不同交通方式下的城市交通运行,反映出行者出行需求特征、交通供给状况和供需匹配程度等。 由于这种分析受数据本身的影响,城市尺度分析多,城际分析少。 举几个例子,堵塞:指数计算(利用出租车的GPS数据、金牌等导航提供商的用户GPS数据等,对各微观道路进行堵塞指数计算)、基于此的堵塞监视、堵塞规律分析等

公交运行特点:直接上图(图:利用公交刷卡数据获得的站点分时段上下车量; 图:地面公交站点jpdcjl系数)。 建立指标体系,利用丰富的数据资源计算相关指标,可以实现细粒度的精细化分析。

3 .城市监管与应急处置:同样,通过建立监管指标体系,结合数据实时采集、传输、计算和可视化等,甚至可以设计数据融合、叠加分析等,实现城市监管与应急处置。 许多城市已经开始建立或建立交通监测和评价体系,但这里不做说明。

4 .城市规划分析:交通规划或缓解交通问题不能只着眼于交通系统本身。 城市空间结构及其产生的社会活动对交通需求也有很深的影响

。所以,利用多源数据(如POI数据、房屋价格数据等),对城市产业、设施、用地等的分析,也是大数据、数据挖掘等在交通领域应用的重要组成部分。举例,之前写过的一篇网文:同衡城市研究|北京地铁不为人知的故事:枣营与将台。贴张图(图:地铁站周边POI分布)

5. 城市决策:利用多源异构数据,搭建多维指标体系,构建可信、可靠的模型,提供决策支撑。当然,这个会涉及到更多的模型搭建、算法开发等。

上面所提到的多是从规划师角度出发的应用,其他商业角度的应用大家可能生活中已经见到很多(如,滴滴/Uber等提供的打车服务、高德/百度等提供的导航服务、摩拜/ofo提供的共享单车服务等),主要是出行相关的服务,方便出行,多元化出行,解决供需的时空匹配问题等。

四. 大数据一定好用吗?

老生常谈的问题,见仁见智。在第二部分我们提到,大数据有那----么多的优点,那么它是救世主吗?并不见得。

首先,我们在交通规划/管理/监督/决策辅助等领域常用到的数据并不是定制化的数据。也就是说,这些数据产生和收集的主要目的并不是用于交通规划/管理/监督/决策辅助,而是一些其他生产活动的衍生品。所以,这些数据可能本身存在样本偏差,比如,手机信令数据里只包括那些用手机的人,或者说,某个电信公司的手机用户,其他人就没办法了。还有,数据很可能受到采集触发机制的影响等而不能很好得适用于现有理论、现有模型等。还是拿手机数据举例子,它的数据采集触发包括使用手机(上网、接打电话、收发短信等)、切换基站、每隔较长时间段的定时采集,所以,严格意义上来讲,单个用户在空间上留下的轨迹并不能直接转换为传统意义上的交通OD。再比如在第一部分提到的那篇城市迁徙文章,受到数据采集机制的限制,我们采用的是“先提出假设,再用数据验证“的方法,而不是“先分析后总结”的方法,因此我们并不能给一个100%的结论,所有的论证都是对“假设是否成立”的探讨。

另外,大数据的另一特点就是价值密度低,因而在使用之前往往需要进行数据清洗,去掉无效数据。数据的应用受数据质量的影响很大。

所以,我们仍然需要注意:数据只辅助决策,而不产生决策:以上,我们可以看到大数据的应用能够将抽象的城市问题具象化,使之前的经验式决策变得更为科学。但数据往往缺乏主观能动性,因而难以取代人的思考及主观判断,目前仍然需要具有相关行业知识的人设计分析方向或对结果进行解读(至于以后,留待以后再说吧);

“过去”与“未来”哪个好,或许都挺好:“小数据”与“大数据”,“行业理论/行业模型”与“机器学习”,一直有人试图比个高低。其实这不是个“谁踩死谁“的问题,能够找到彼此的优点,发挥各自的特长,能够相互验证、相互结合、相互补充,可能才是Happy ending吧(可能和找另一半一个道理...);

写了好长,多是一些工作和学习感悟,如有偏差和不足欢迎讨论。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。