文档介绍：95 软件2013 年第34 卷第2 期国际IT 传媒品牌大数据作为云计算领域的一种新型的数据管理模式,具有较高的加载效率和存储规模和数据的检索率,对数据的管理起到了积极的作用,一方面保证了数据处理的效率,另一方面提高了系统运行的稳定性,为人们提供了更加优质的服务。大数据在多个领域得到了广泛的应用,如海量日志、网络报文以及电子商务等,传统的数据管理模式难以满足数据更新和数据存储的要求,这就需要对数据的一致性方面放宽要求,并对复杂的关联查询进行取消, 再根据具体的应用场景, 提高系统的实用性。一、海量结构化大数据存储检索系统的工作原理大数据的处理对数据的加载效率、存储效率和检索效率提出了更高的要求,因此为了满足大数据的需求,需要利用多机协同机进行分布式存储,进而提高系统随数据的处理效率。对于海量结构化大数据存储检索系统而言,其中包括加载机集群、查询机集群、元数据节点集群以及存储点的集群。二、海量结构化大数据存储检索系统的数据模型和存储结构(一)MDSS中的数据模型 MDSS 作为一种新型的数据管理模型,为用户提供的是二维表空间,一行就是一条包含多个字段或者是属性的记录,在表结构的支持下,表空间对字段的类型进行正确的描述。一般应用于表结构的数据类型有以下几种:属于整数类型并进行数学比较运算的 NTEGER( 或INT) ,存储IP 类型字段并对子网和区间进行查询的 IPFIELD ,利用两种数据格式对 IPV4 和IPV6 地址进行保存的 INDEX,存储模糊类型数据并支持精确匹配和模糊匹配的 TIMESTAMP 和直接对数据存储但不对内容查询的STORE。(二)数据存储组织结构对于数据的存储,主要有:STORE 类型和字符类型两种, 前者是对文件信息进行直接的存储,用户对数据的内容进行相应的解析,或者是将数据源根据字符的方式进行分块存储,因此可以在存储的过程中实现迁移,提高了存储的灵活性,同时在对数据进行存储时根据特定的需要对数据进行相应的转换, 这项转换工作需奥借助加载机来实现。三、海量结构化大数据存储检索系统的数据检索方法 MDSS 对复杂任务的查询主要是通过将复杂的任务进行细分,即以查询的条件为依据将查询任务分为几个查询的子任务, 进而每个子任务在不同环境和不同层次下同时实现,这样就大大的提高了查询的效率,一方面通过对查询条件的分解和对查询任务的设置,可以很大程度的提高查询的正确性,另一方面最大限度的考虑到影响数据检索的多种因素,使系统的计算能力得到了充分的发挥。(一)查询条件的分解为了对二维表空间的操作起到积极的促进作用,推进结构化数据的统计与检索,需要设计新的分析语言,既要符合一般海量结构化大数据存储检索系统探讨???(烟台海颐软件股份有限公司, 山东烟台 264000) 摘 要: ???????????????????????????????????????????????????? ????????????????????????????????????????Ч??????????????????????????????????????????????????????????????????????????关键字: ??????????????????????中图分类号: ????????????????????????????文献标