文档介绍：中科院海洋所:海量数据的存储之道
众所周知,海洋数据是一种典型的大数据,如何利用存储架构来安全存储海洋大数据,纷繁复杂的数据,如何很好地安全管理并很好的调用,是海洋数据管理所面临的一个挑战。针对存储架构中的诸多问题,中国科学院海洋研究所提出了自己的解决方案,锁定海洋大数据的生命周期,并且基于此建立起海洋大数据的完美存储解决方案。存储系统稳的稳定运行极大地提升了中科院海洋所高性能计算集群的计算能力,满足了海洋所对存储系统的海量数据存取、高可靠性和高可扩展性等要求。为科研工作提供了有力支撑,项目完成周期缩短了将近30%。
黄海海洋观测研究站和东海海洋科学综合观测浮标站是中国近海海洋观测研究系统建设的重要组成部分,通过位于青岛的陆基数据接收站每十分钟进行一次数据采集,包括气象数据(气温、湿度、气压、风速等)、水文数据(波浪、水温、盐度、海流等)和水质数据(温盐、浊度、叶绿素等),日复一日,年复一年。而这些定点、长期连续海洋观测数据将会被存储下来,为海洋科学研究和地方经济发展提供支撑。
这些海量的数据,存储在中国科学院海洋研究所(以下简称“海洋研究所”)的数据中心,为海洋科学研究工作提供了源源不断的科研依据。
海量数据亟待高性能存储
中国科学院海洋研究所是国家知识产权局全国专利战略试点单位,建所 60 多年来,重点在蓝色(海洋)农业优质、高效、持续发展的理论基础与关键技术,海洋环境与生态系统动力过程,海洋环流与浅海动力过程,以及大陆边缘地质演化与资源环境效应等领域开展了许多开创性和奠基性工作,取得了 900 多项科研成果,为我国国民经济建设、国家安全和海洋科学技术的发展做出了重大创新性贡献。
海洋科学的研究是一项浩繁的工程,涉及到基础研究和应用探索,需要对大量的信息数据进行高效可靠的处理。因此,海洋信息系统的建设至关重要。中科院海洋所高性能计算中心的高性能集群计算能力达到了10万亿次/秒,为海洋信息的研究提供了很多便利。
随着海洋科学研究的不断深入,以及全社会对海洋信息需求的不断扩大,海洋信息的需求量和实效性要求也越来越高。为了适应新的形势,中科院海洋所决定建立一个大型海洋信息资料中心,在此基础上建立一个统一的信息存储、处理和发布系统,不仅为所里科研提供信息,还可以为社会提供海洋信息服务。在这种情况下,建立一个既满足大容量数据存储、保护,具有高可靠性,又能保证多主机、多用户、多应用系统并发数据访问性能的存储系统成为系统建设的关键。
1个中心+5个平台
根除海量存储忧患
结合现实的业务需求,海洋研究所提出构建自己数据中心的想法,并很快进行了项目实施。数据中心的总体方案规划,即海洋科研数据产品研发和数据收集/分发管理平台,通过此平台实现了块数据、文件数据的集中存储与管理。后期,来自近海观测网络、海洋开放共享航次、潜标观测以及大量历史调查、分析测试这五大平台的数据将逐渐迁移、存储到该数据中心上,实现统一存储和管理。同时,数据中心还将管理运行近海观测网络陆基站,承担近海观测网络数据的接收、处理和数据产品发布。
数据中心存储系统每秒读写可以达到50万,即使是海洋研究所极高的并发数量,也可以游刃有余。在扩展性方面,存储资源池可以无缝的接入新的存储设备,并且随着容量的增加,数据存储性能也将呈现线性增加的趋势,满足其海量存储的需求