文档介绍：北京邮电大学
硕士学位论文
基于分布式的海量海洋数据服务系统设计与实现
姓名:史世龙
申请学位级别:硕士
专业:通信与信息系统
指导教师:张家谋
20090210
基于分布式的海量海洋数据服务系统设计与实现摘要随着信息化程度的提高,许多行业如通讯、水利、测绘、金融、气象等,都需要处理动辄上百甚至级的超大规模数据,而且规模还在以指数形式飞快增长,这些就是海量数据。海量数据的有效管理和快速访问是当今的一个热点问题。目前海量数据服务主要有两种建设方案:一种是集中式,即采用单台高性能服务器对海量数据进行统一管理,统一为用户提供服务,该方案结构简单,易于部署实施,但是单台服务器的服务性能总有上限,而且系统成本是非线性增长的,不易于扩展。另一种是分布式,即采用多台普通服务器部署来管理海量数据,分担多用户并发请求,该方案的最大优势是可以根据实际性能需求对系统资源进行动态配置,通过负载均衡技术避免负载过重造成的系统瘫痪,而且成本相对较低,适用性更强。海洋地图数据也具有海量的特点。以我国的海洋环境信息为例,其数据量就高达陨稀:A亢Q蟮赝际莸姆穹⒉际鞘海洋信息基础框架中的一个关键问题。本文在基础上提出了一种双分布式解决方案:地图数据引擎和地图服务发布都采用分布式。一方面地图数据引擎采用分布式,不仅可以满足海洋地图数据存储量大的要求,而且可以分担地图数据提取任务,减轻磁盘压力,为数据的快速检索和快速提取提供保证:另一方面地图服务发布也采用分布式,通过建立地图服务发布服务器之间的管理调度机制,实现负载均衡,同时还使用了连接池技术和数据缓存技术。大量测试结果表明,本方案可以缩短多用户并发时请求响应时间,充分利用系统资源,降低服务器端负担,避免系统宕机瘫痪。另外,我国海洋数据主要存储在国家海洋局及其各研究中心,地理上就是分布的,结合这个特点,海量海洋数据服务的双分布式架构也更加实际可行。关键词:海量数据疭系统设计双分布式
∞甅瑃.’,,琭,.,...,.,,.,
..,,甀.
本人签名:逮堂垄日期:丞塑罚核保密论文注释:本学位论文属于保密在一年解密后适用本授权书。。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处,本人承担一切相关责任。关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许学位论文被查阅和借阅;学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。C艿难宦畚脑诮饷芎笞袷卮斯娑文注释:本学位论文不属于保密范围,适用本授权书。本人签名:导师签名:日期:
第一章概述课题研究背景和意义技术应用“数字海洋撬孀拧笆值厍战略的提出应运而生的【¨,是一项庞大、洋监测、观测数据及其分析算法和模型构建而成的虚拟海洋世界。通过对当前现海洋相关社会和经济活动状态以及发展趋势展现在人们面前,是人类最大限度理协调委员会关于地理信息系统的定义为“怯杉扑慊布⑷砑筒煌姆法组成的系统,该系统设计用来支持空间数据的采集、管理、处理、分析、建模和显示,以便解决复杂的规划和管理问题菡飧龆ㄒ澹梢缘贸鯣可以随着信息化程度的提高,许多行业如通讯、水利、测绘、金融、气象等,都需要处理动辄上百甚至级的超大规模数据,而且数据规模还在以指数形式飞快增长,这些就是海量数据。海量数据的有效管理和快速访问是当今的一个热点问题。海洋地图数据也具有海量的特点。以我国的海洋环境信息为例,其数据量就高达陨稀课题开发的海洋数据服务系统属于我国“数字海洋钅恐行畔⒒】蚣芄建的子项目。复杂的系统工程,是由海量、多分辨率、多时相、多类型空间对海观测数据和海实海洋景观和过程的直接表达和对未来现实海洋场景的预测、预观,“数字海洋将促进人类对海洋的开发、利用的方式更趋于合理、有效,保证海洋可持续发展。当前,主要海洋国家如美国、俄罗斯、英国、法国、德国、日本、加拿大等国都在积极推进各自的“数字海洋”信息系统建设。“数字海洋嬗τ靡8⒌乩硇畔⑾低、全球定位系统即“”技术,运用数字化、可视化、网络化的信息表达方式把海洋自然形态、解海洋状况以及变化过程低臣蚪地理信息系统乒,拦0钍值赝北京邮电大学硕上研究生学位论文摹于分布式的海量海洋数据服务系统