文档介绍：万方数据
夯贖有效电子商务物流大数据处理策略。篹魏斐翡引言务器、手机等机器设备在日常生产和生活中产生越计算机工程与科学摘要:随着云计算的快速发展,越来越多的电子商务服务应用面临处理大数据的要求,例如电子商务物流服务中顾客通过社会媒体发布而产生的大量数据。为提高电子商务物流大数据的处理效率,基于设计了一种称为挠行У缱由涛裎锪鞔笫荽聿呗裕ü喙氐氖菥龇湃胂同的数据节点,进而达到降低疧代价的目的,尤其是降低锥蔚腎/邸7抡实验结果显示,基于的笫荽聿呗阅芄唤虾玫亟械缱由涛裎锪鞣裰械氖据密集型分析,提高电子商务物流大数据计算效率。关键词:大数据;数据放置;大数据分析;大数据计算策略;电子商务物流中图分类号:文献标志码::随着互联网技术及电子商务的发展,尤其是云计算及物联网技术的发展,人类、传感器、机、服来越多的数据,如何处理这些大数据正面临着巨大的挑战。目前,国内外已经有不少研究设计了一些大数据处理框架,其中主要的大数据处理框架包括的陨狭街挚蚣芏拥有各自的分布式文件系统,,湖北武汉;本醚г盒畔⒐芾硌г海蔽浜痡..一...疧的和—/文章编号:——一猣琀,琖琺,甀—琣,瑃瑆,籥甌,,—篵;籦;;基金项目:国家自然科学基金青年项目;湖北省自然科学基金资助项目通讯地址:湖北省武汉市湖北经济学院信息管理学院—琋琌·.甋收稿日期:一—;修回日期:一—;觯籗‘,琍。瓹赼
万方数据
怔对冉对迹兰卜刎釜竺卜婆竺一酬如】羹芯肯肿锤攀籖。。籖。处理框架,例如和虽然现有的大数据处理框架在一定程度上提少都需要对大数据进行修改。这些改变对一些特‘引、‘以及应的挝翊砻扛鍪菘椤T谕瓿蒑任疧代价,尤其是大量相关的数据块被放置在数据数据块添加索引和联接信息。当需要重新添加索引信息和联接信的数据放置主要考虑为了数据分布的均衡,但是它的数据放置策略并未考虑到各种数据集之间的关系。中储存的所有数据根据集群的工作负荷要求来放置,因此当执行扑闶保罅渴莼峤星ㄒ疲佣加大量的代价,尤其是在锥蔚腎/邸此后,在大数据放置策略的基础上,很多学者、研究机构及大学设计出了一些大数据H欢庑┐笫荽砜蚣苄枰6大数据自身进行较大的改变。需要为数据静态加入索引和联接,当新增一些数据时需要对这些大数据再次进行静态修改。是咎岢龅囊恢只的新型优化方法,它根据应用的要求来分配数据块。大数据在被提交至之前,—需要根据大数据的应用需求属性对其进行划分;由于大数据在被存入之前必须进行修改,因此会增加不少处理成本。和在的基础上进行了一定程度的修改,而在的基础上进行更大的改动。高了大数据处理的效率,但是这些处理框架或多或定的应用有用,但会导致处理框架丧失对各种应用的通用性。因此,为了提高大数据的处理效率,研究一种新型、有效的大数据处理策略具有重要的意义,这种策略应在的基础上针对数据密集型应用,且不需要对本身进行任何改变。鉴于这些需求,本文设计了一种以为基础,针对电子商务物流服务这种数据密集型应用的有效大数据处理策略是一种在的大数据处理策略基础上研发出来的一种开放源码大数据处理策略,而和是两种基于的新型大数据处理策略。图屯显示的是的关系。如图荆笫荼换治P懈鍪菘椋务后中间结果将从衿饕贫絉务器。这个阶段属于恚黾哟罅康节点中。如图荆贖笫荽聿呗中,来自于大数据源的数据块在提交至计算之前,必须预先处理。ǘ大数据被划分