非结构化存储方案.docx

文档介绍：非结构化存储方案
非结构化数据存储方案
一、存储类型体系：
存储类型体系结构图
存储类型体系描述
块存储：将存储区域划分为固定大小的小块，是传统裸存设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC协议控制和访问数据。主要包括DAS和SAN两种存储方式。对比如下图：
分布式文件存储：文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源以统一的视图呈现给用户。它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段和统一的访问接口。主要包括NAS和HDFS两种存储方式。
网络附加存储NAS结构如图：
二、非结构化大数据分布式存储架构
非结构化PB级大数据分布式存储架构，相对于其各自存储结构及不同应用场景，结合国产化大数据平台特性，现给出两种解决方案。第一种是基于OpenStack子项目swift的分布式大数据存储方案，另一种是基于ceph的分布式大数据存储方案

Swift集群部署架构图：
实现原理：用户上传文件PUT DATA和下载文件GET DATA，分别请求同一个对象。上传文件时，PUT请求通过负载均衡管理器随即挑选一台Proxy Server，将请求转发给后者，后者通过查询本地Ring文件，选择3个不同节点中的后端来存储文件，然后同时将该文件向这三个存储