文档介绍：浅论海量数据组织管理的方法
浅论海量数据组织管理的方法
摘要:本文在对海量空间数据进行了一定的分析基础上,探讨了当前针对海量数据组织管理的金字塔结构存储方法和线性四叉树的空间索引结构。并通过示例程序开发验证其有效性。
关键词:空间数据库;海量数据;四叉树;金字塔
Abstract: In this paper, based on the analysis of the massive spatial data, discussed the current spatial index structure in Pyramid according to the structure of storage method and linear mass anization and management of the four fork tree. And its effectiveness is verified by example program development.
Key words: spatial database; data; four fork tree; Pyramid

中图分类号:C36文献标识码:A文章编号:
1 引言
自90年代以来,高空间分辨率遥感卫星开始向大众敞开大门,作为GIS的重要数据来源——遥感数据量快速增长。卫星遥感影像是一种以栅格数据模型存储的数据,其最明显的特点是数据量大、数据结构单一。同时遥感数据是一种大面积的、动态的、近实时的数据源,是GIS数据更新的重要手段。遥感数据可用于提取线划数据和生成数字正射影像数据、DEM数据[1]。,如果全国的遥感影像用QuickBird [2]。为了使这些海量空间数据得到更好的应用,必须考虑采用更为有效的组织管理手段对海量空间数据进行组织管理。
解决此问题,在GIS中对大范围空间数据的统一有效的组织管理有很大帮助。早在90年代,美国ESRI公司推出空间数据引擎(SDE)对该问题提供了一种解决方案,依托于关系数据库环境,采用高效空间目标模型(Efficient Spatial Object Model)对空间实体进行完整组织。此举一方面避免了大数据量传统拓扑模型组织数据时需要的大量的硬盘访问操作;另一方面,空间信息作为关系库中的成员,属性信息与图形信息形成一体化,避免了通过标识码连接属性,大大提高了信息检索的效率[3]。同时,(Raster Catalog)的数据组织方式,很好的满足了目前流行的以图幅为单位进行空间数据采集并更新的需求。
从当前空间数据的生产及数字化过程看,以图幅为单位进行管理的局面一时难以改变[4]。故本文将讨论以图幅为基本存储单位,在此基础上对其用多金字塔结构进行空间数据组织并利用四叉树作为海量栅格数据的空间索引的海量数据组织存储方法。
2 海量数据分析
在研究海量数据的组织管理方法前,首先要研究如下问题:由于我国的国土面积较大,正射影像产品空间参考大都是以高斯投影后的平面坐标为基础,对于一个省级或国家级的大型影像数据库而言,由于投影分带的原因,正射影像产品的空