文档介绍：2014年3月13日
基于安全的大数据分析
姜开达
一
原始数据的获取
二
大数据分析平台
三
安全事件关联分析
四
未来发展方向
主要内容
美国情报收集系统 X-Keyscore
可针对邮件、网站内容等执行强大的查询
提供实时的目标活动信息
所有未过滤的数据可在缓冲区存 3 天
存储所监控网站的完整数据,
为元数据建立索引
QQ/飞信被美国国家安全局监控
2010年开始
TURBINE
大规模监听计划
TURBINE会从用户设备中搜集各种信息,包括设备的硬件ID,蓝牙信息,Google、苹果广告联盟为精准广告而正常搜集的用户行为信息(这些数据是广告联盟合法搜集,但被NSA违法盗用),以及一些常用软件的本地用户文件,这其中就包括QQ和飞信。
安全的颗粒度
NetFlow/sFlow 报文采样
DDOS/Port Scan/异常流量发现
深度数据包检测(DPI)
基于已知签名的识别,对加密流量作用有限
元数据(MetaData)介于两者之间
http/smtp/pop3/ftp/dns/……
粗颗粒度的控制
安全事件历史回溯
Flow采样分析太粗,丢失信息较多
基于五元组等信息
完整数据包长期存储,代价巨大
1G/10G/100G Mission: Impossible
依靠长期历史元数据是现实的选择
在线分析漏过了,不能再错过离线处理
MetaData的生成
基于网络流量,生成需要的格式吐出
nfdump 介绍
http://nfdump./
The nfdump tools collect and flow data on mand line.
Web interface /projects/nfsen/
CoralReef 介绍
ls/measurement/coralreef/
CoralReef is prehensive software suite developed by CAIDA to collect and analyze data from passive traffic monitors, in real time or from trace files.
CoralReef supports monitoring of any work interface (via libpcap) on unix-like systems, as well as specialized high performance ATM, POS, and devices at up to OC192 and 10 GigE bandwidths on Intel-based workstations running FreeBSD or Linux.