文档介绍：1896 1920 1987 2006
基于元数据和安全事件的
大数据分析
上海交通大学网络信息中心
姜开达
2013年12月28日
个人介绍
1997 ~ 2001 ~ 2013 (16 years)
上海交通大学网络信息中心
工作经历:
学生宿舍网络建设与管理
大中小网络运行与维护
信息系统建设与管理
近五年主要专注于
网络信息安全领域
主要内容
一 MetaData的获取
二大数据分析平台
三安全事件关联分析
四未来研究方向
安全的颗粒度
NetFlow/sFlow 报文采样
DDOS/Port Scan/异常流量发现
深度数据包检测(DPI)
基于已知签名的识别,对加密流量作用有限
元数据(MetaData)介于两者之间
http/smtp/pop3/ftp/dns/……
美国情报收集系统 X-Keyscore
可针对邮件、网站内容等执行强大的查询
提供实时的目标活动信息
所有未过滤的数据可在缓冲区存 3 天
存储所监控网站的完整数据,
为元数据建立索引
安全事件历史回溯
Flow采样分析太粗,丢失信息较多
基于五元组等信息
完整数据包长期存储,代价巨大
1G/10G/100G Mission: Impossible
依靠长期历史元数据是现实的选择
在线分析漏过了,不能再错过离线处理
MetaData的生成
基于网络流量,生成需要的格式吐出
nfdump 介绍
http://nfdump./
The nfdump tools collect and flow data
on mand line.
Web interface /projects/nfsen/
CoralReef 介绍
ls/measurement/coralreef/
CoralReef is prehensive software suite
developed by CAIDA to collect and analyze data from
passive traffic monitors, in real time or from
trace files.
CoralReef supports monitoring of any standard
network interface (via libpcap) on unix-like systems,
as well as specialized high performance ATM, POS,
and devices at up to OC192 and 10 GigE
bandwidths on Intel-based workstations running
FreeBSD or Linux.
Justniffer 介绍
http://justniffer./
Network TCP Packet Sniffer
Reliable TCP Flow Rebuilding
Optimized for "Request / Response" protocols.
Can rebuild and save HTTP content on files