文档介绍：云存储系统
系统概述
随着视频监控系统规模越来越大,以及高清视频的大规模应用,对视频监控系统中需要存储的数据和应用的复杂程度在不断提高,且视频数据需要长时间持续地保存到存储系统中,并要求随时可以调用,对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中,数据将呈现爆炸性的海量增长,提供对海量数据的快速存储及检索技术,显得尤为重要,存储系统正在成为视频监控技术未来发展的决定性因素。
面对几百TB,乃至PB级的海量存储需求,传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈,而且可以实现性能与容量的线性扩展,这对于追求高性能、高可用性的企业用户来说是一个新选择。
云存储是在云计算(puting)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。
依据云存储的功能特点,海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求,量身设计了一套海康威视视频云存储监控系统。
海康威视视频云存储系统可以同时应用于视频、图片混合存储,承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计,在系统内部实现了多设备协同工作、性能和资源的虚拟整合,最大限度利用了硬件资源和存储空间。另一方面,通过将云存储的存储功能、管理功能进行打包,通过开放透明的应用接口和简单易用的管理界面,与上层应用平台整合后,为整个安防监控系统提供了高效、可靠的数据存储服务。
系统架构
技术路线
在视频云存储系统的设计中,采用的核心技术如下:
采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架,可持续扩容避免瓶颈限制,可以更有效的进行资源管理,灵活增减空间,达到最大程度上合理利用空间的效果。
采用集群技术,解决单/多节点失效问题,并利用负载均衡技术充分利用各存储节点的性能,提升系统的可靠性和安全性。
采用离散存储技术,保障了用户高效的读写的同时保证了业务的持续性。
采用统一完善的接口,降低对接成本、平台维护成本和用户管理的复杂度。
采用开放的集成构架,使其可兼容业界各类iSCSI/FC存储设备,保护用户现有存储投资资源。
采用数据备份和容灾技术,保证云存储中的数据不丢失,保证云存储服务的安全稳定。
逻辑架构
云存储系统采用分层结构设计,整个系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。
云存储逻辑架构图
设备层
设备层是云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的IP-SAN、FC-SAN存储设备。在系统组成中,存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。
存储层
在存储层上部署云存储流数据系统,通过调用云存储流数据系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据的高效的写入、读取和调用等服务。
管理层
在管理层,融合了索引管理、计划管理、