文档介绍：近年来,以高级持续性威胁( APT )为代表的新型攻击手段渐渐兴起, 谷歌、 RSA 、索尼等业界巨头接连爆出被入侵的新闻, 引起了整个社会的极大关注。与此同时, 为了应对 APT , 信息安全产业界也浮现了一批新兴的安全检测产品, 这些产品的技术原理和实现方式都与传统安全产品有显著的区别,全流量存储分析产品就是其中的典型代表。与传统的以特征匹配为基础的实时检测产品相比,全流量存储分析产品的最大特点是对原始流量的存储, 以及采用以异常检测为主的判断机制。有了原始流量的存储, 就能够将当前检测到的攻击行为与历史流量进行关联, 实现完整的攻击溯源和取证分析; 有了异常检测方法, 就能够通过对各类正常网络行为建模, 实现对未知攻击行为的检测。可以说, 全流量存储分析产品的出现, 恰好弥补了传统检测技术在应对 APT 挑战方面的不足。全流量存储分析产品是随着信息技术发展而产生的。回顾入侵检测系统的发展史, 在上个世纪 90 年代“入侵检测”概念出现的早期, 当时著名的入侵检测系统大都产生于大学实验室和科研机构, 采用的主流技术就是以数据挖掘、神经网络技术为代表的异常检测技术; 后来随着应用的推广, 安全企业受限于异常检测技术的高漏报和高误报, 纷纷采用了以特征匹配为主的误用检测技术,这也是目前成熟入侵检测产品的通用技术; 近年来随着以云计算、大数据为代表的新技术的涌现, 单位计算和存储的成本越来越低, 这使得采用更大的样本空间、更智能的分析算法降低异常检测的误报率和漏报率成为可能, 从而使得异常检测技术真正在安全产品中得到实际应用,并最终促成了全流量存储分析产品的产生。本文介绍了几款当前业界领先的全流量存储分析产品, 总结了该类产品的共同点,并展望了该类产品的应用前景。当前主流产品介绍 Witness Witness 是安全产业巨头 RSA 公司推出的企业级安全分析产品体系。 RSA 将其描述为“一个革命性的网络安全监控平台,帮助企业感知网络上发生的全部事情,以应对全方位的信息安全挑战”。 Witness 处理的对象包括各类报警事件和原始流量数据,它通过对各类数据的采集、存储、分析、挖掘和可视化展示, 实现 APT 攻击的检测和持续监控。 Witness 的特点在于具备丰富、完整的体系架构, 具备良好的伸缩性, 可适应不同规模、不同粒度的安全监控需求。 Witness 产品体系包括以下组件: (1) 采集及存储组件,可细分为: —— Decoder : 完成实时采集、过滤和分析网络数据, 是企业级网络数据存储分析架构的基石。—— Concentrator :分层级汇总元数据,以保证框架的可扩展性和灵活性。—— Broker : 处于企业应用架构的最上层, 当部署多个 Concentrator 时,可提供跨整个架构的单一视图。—— Capacity :应用于 Decoder 和 Concentrator 的附加存储设备,可采用直接连接模式( DAC ) 和存储区域网络( SAN ) 两种模式, 可扩充至 PB 级的存储容量。(2) 分析组件,可细分为: —— For Logs : 安全日志汇总工具, 可实现安全日志和全流量数据的无缝融合,在分析安全日志时可展示与该事件相关的上下文原始流量数据。—— Informer :报表和报告生成工具,可通过灵活的模板定制分