文档介绍：基于Hadoop的城市道路交通流量数据分布式存储与
挖掘分析研究
廖飞1 龚德俊1,2 安乐2
1(湖南省交通科学研究院交通运输工程信息化中心湖南长沙 410076)
2(长沙赛视交通科技有限公司湖南长沙 410076)
摘要面对巨大而且快速增长的城市道路交通流量数据,为了应对海量交通流量数据的快速存储以及高效挖掘分析,采用基于Hadoop中HBase分布式数据库来存储采集到的城市道路路段交通流量,然后采用Hadoop高效并行计算MapReduce编程模型对海量的城市交通流量数据进行数据挖掘分析。在实验中,取得了较为理想的实验结果,验证了基于Hadoop在城市道路交通流量数据的存储与处理上比传统的方式更高效,具有很大的应用前景。
关键字交通流; Hadoop; HBase; 海量数据处理;并行计算;挖掘分析
中图分类号:TP 391 文献标识码:A
Distributed Storage And Mining Analysis Research Of Urban Road Traffic Flow Data Based On The Hadoop
Liao Fei1 Gong Dejun1,2 An Le2
Abstract Faced with huge and rapidly growing urban road traffic flow data, in order to deal with faststorage to huge traffic flow data and mining analysis it efficiently. Use HBase distributed database based on Hadoop to store the collected urban road traffic flow data, and then use Hadoop efficient parallel puting programming model to deal with mass data mining analysis of urban traffic flow data. In the experiment, and achieved ideal results, based on Hadoop is verified in the storage and processing of urban road traffic flow data is more efficient than the traditional way, and has great application prospect.
Key words trafficflow;Hadoop;HBase;mass data processing;puting; mining analysis
引言
随着人们生活水平的提高,城市汽车拥有量快速增加,城市道路交通流量急剧增长,交通堵塞、交通事故、交通违法等交通问题日渐显著。面对如此巨大而且快速增长的城市道路交通流量数据,如何快速存储、灵活扩展存储容量,采用何种科学、有效的数据挖掘手段对海量的交通流量数据进行分析研究,是城市交通领域的一大难题。
本文研究基于Hadoop中HBase分布式