文档介绍：南开大学学位论文原创性声明非公开学位论文标注说明本人郑重声明:所呈交的学位论文,是本人在导师指导下进行研究工作所取得的研究成果。除文中已经注明引用的内容外,本学位论文的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的作品的内容。对本论文所年疽潮碇刑钚茨谌菪氪蛴根据南开大学有关规定,非公开学位论文须经指导教师同意、作者本人申申请密级口机密涉及的研究工作做出贡献的其他个人和集体,均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名:汪黎请和相关部门批准方能标注。未经批准的均为公开学位论文,公开学位论文本说明为空白。论文题目口限制年口秘密保密期限年月日至日审批表编号批准日期南开大学学位评定委员会办公室盖章行注:限制★可少于:秘密★年缮儆:机密★年缮儆
摘要随着信息技术的快速发展,人们获取和产生数据的方式越来越先进,越来越多的结构化数据被存储下来,数据量达到了级别,甚至级别,这些数据具有规模大、处理速度快、蕴含价值高等特点,国际上已经有相关的海量结构化数据处理技术,但国内技术并不成熟,实现海量结构化数据的分析处理,分布式文件系统和荽砑际酢⒖衫┱沟腘技术、面向特定应用的分布式索引和检索技术、并行数据处理技术以及主流的大数据处理产品,提出了适用于海量结构化数据存储和查询的处理方案一一本的兼顾,数据表以复制或分区方式存储于节点组中,分区方式包括有利于推动国内大数据技术的发展。本文通过分析当前主流的大数据技术,包括大规模横向扩展的数据库技术、,衑、及“未知”的意思教ǎ饕0ㄖС衷谙叨┱沟氖荽娲⒒旨际酢⒑A渴荽并行任务流技术、用户自定义任务流技术、海量结构化数据的关联和嵌套查询技术。其中数据存储采用分级存储和多种划分方式,分级存储实现了性能与成畆、、闹郑迪质莸母涸鼐庖约笆迪肿钚∈迁移量的动态扩展;并行处理任务流技术通过对类锞涞慕馕觯纬筛粒度的计算算子,从而实现任务的并行执行及海量结构化数据的关联和嵌套查询技术,同时任务流采用可读文本方式,用户可通过文本编辑器实现自定义任务流。该平台已经初步应用于上海某公司,负责将每日产生的数据导入系统并进行分析,数据导入速率为/分钟,目前己存储约萘浚⑼瓿啥该部分数据进行各种统计、关联、过滤等类别的查询,目前系统运行正常,并能够满足查询需求。关键词大数据,海量数据,分布式查询,任务流,分区存储
讹砌锄脸R.,畆,,眦,,·畂,/瑃伍,,,琧琤,畇,.,.甌‘.
.
目录第一章引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一第二章大数据处理技术研究⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..第三章平台数据存储设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.研究背景和意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯主要研究内容和工作⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第三节第一节第二节论文组织结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第~节相关技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯国内外发展现状与趋势⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯基于姆旨洞娲⑸杓啤基于拇娲⒒稚杓啤第三节平台存储优化⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯...蠊婺:嵯蚶┱⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.衫┱沟腘技术⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯...嫦蛱囟ㄓτ玫姆植际剿饕图焖骷际酢.⑿⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯...⑿⒉.
第四章平台查询的执行及优化⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第五章平台加载查询性能测试⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第六章总结和展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯通用查询执行引擎设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第一节查询执行研究⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第二节第三节任务流的生成⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.测试环境⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.加载性能测试⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.查询性能测试⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.全文总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.研究展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.≡≡≡⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯...?***?椤.
致谢个人简历⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯目录⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
第一章引言第一节研究背景和意义察发现网络