文档介绍：作者签名:壶壅翌保密论文注释:本学位论文属于保密范围,在上年解密后适用本授丧建子彳蕃北京化工大学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。关于论文使用授权的说明学位论文作者完全了解北京化工大学有关保留和使用学位论文的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属北京化工大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许学位论文被查阅和借阅;学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。权书。非保密论文注释:本学位论文不属于保密范围,适用本授权书。作者签名:日期:导师签名:
琛瓅璴学位论文数据集学位论文评阅及答辩委员会情况中图分类号学科分类号论文编号级公开学位授予单位代码学位授予单位名称北京化工大学作者姓名袁建军学获学位专业名称计算机应用技术获学位专业代码课题来源自选项目研究方向数据处理论文题目电子商务海量数据的获取、存储以及检索关键词论文答辩日期年·论文类型应用研究职称工作单位学科专长指导教师胡伟副教授计算机图形学赵瑞莲教授软件测试与软件可靠性并行计算,图像处理答辩委员会主席答辩委员许南山嵌入式系统李辉信息安全技术肖亮核磁共振,医学成像注::⊙⒀》查询。》中查询。。密号电子商务;数据存储;海量数据;全文检索;实时数据查询;姓名评阅人王雪晶
电子商务海量数据的获取、存储以及检索摘要随着互联网的快速发展,电子商务在人们的生活中占据着越来越重要的地位。在电子商务的整个环节中,数据处于最为核心的位置,处理好数据之间的关系,直接影响着电子商务商城的稳定性。本课题基于电子商务商城的建设过程,研究并实现了一系列数据处理的方法。首先,为了获取商城需要展示的数据,需要从多种途径获取数据源,合理的安排好数据处理任务之间的关系,可以保证数据的稳定性以及时效性,课题经过实践完成了一套完整的数据任务分发机制以及数据运行状态的监控体系,在上百种任务并行运行的情况下,可以保证服务器的正常运行以及数据任务处理的稳定,从而保证了数据的有效性。其次,在处理好数据获取任务的基础之上,需要针对海量的数据进行前提下,快速的介入其他的商城的数据;同时需要处理好过期数据删除之问题,本课题通过两种存储方式的实践进行总结,完成了一套可扩展性的存储方案,在每天几十萁懈碌那疤嵯拢低吃诵形榷ú⑶矣最后,在解决了数据的获取以及数据的存储之后,数据的检索系统直接影响着用户的体验,检索系统的优劣直接影响着用户的选择。检索系统存储。海量数据的存储需要解决可扩展性的问题,即在不修改基础结构的后表空间利用的问题;最后存储系统需要容纳海量的数据,随着时间的延长,数据量急剧增加,数据存储系统需要具备海量的存储能力。基于以上有很好的普遍适用性。
需要解决检索数据的有效性、准确性以及检索的效率。本课题通过检索引擎的研究,结合数据库共同实现平台的检索系统,可以为用户提供关键字以及属性的筛选,在海量数据存储的前提下,可以实现毫秒级数据的精确检索。通过以上的数据获取、存储以及检索一系列的数据处理方案,构建了线上运行的产品:淘宝服务平台、在线销售计划以及百度网盟数据推广等项目。实践证明上述方法具有很强的可扩展性以及稳定性,较好地解决了海量数据的处理。关键词:电子商务;数据存储;海量数据;全文检索;实时数据查询;
猚瑂琫—籵甅’瓺猚瓺猚甤瓼瑆..瑂.;:,;痺,,..
曲詓闘:;.,..琣瑂瑆,..甤.,,—北京化丁人学硕学位论文
录目第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第二章平台数据获取系统的设计研究⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第三章平台数据存储方案的研究⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯任务管理系统应用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..课题的来源与意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.国内外研究现况综述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.课题主要研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.本文的章节安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.平台数据获取方案⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯