文档介绍：浅谈网络安全大数据分析
随着网络规模和移动应用的不断扩大，当前网络安全面临的威胁不断增加。一是国家和企事业所面临的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些网络安全威胁具有隐蔽性强、潜伏期长、持续性强的特点。二是伴随着大数据和云计算时代的到来，网络安全问题正在变成一个大数据问题，企业和组织的网络及系统每天都在生成海量的数据，并且产生的速度越来越快。如何利用大数据技术进行网络安全分析平台的研究是热点也是难点，因此本文对基于Spark技术的网络安全大数据分析平台的研究具有一定意义。
一、网络安全现状及主要问题
当前移动互联网、大数据及云技术等更新进程不断加快，数据量成指数级增长，人们对于大数据时代下网络安全的相关问题也越来越关注。信息技术创新发展伴随的安全威胁与传统安全问题相互交织，使得网络空间安全问题日益复杂隐蔽，面临的网络安全风险不断加大，各种网络攻击事件层出不穷。2016年，我国互联网网络安全状况总体平稳，未出现影响互联网正常运行的重大网络安全事件，但移动互联网恶意程序数量持续高速上涨且具有明显趋利性；来自境外的针对我国境内的网站攻击事件频繁发生；联网智能设备被恶意控制，并用于发起大流量分布式拒绝服务攻击的现象更加严重；网站数据和个人信息泄露带来的危害不断扩大；欺诈***软件在互联网上肆虐；具有国家背景黑客组织发动的高级持续性威胁（APT）攻击事件直接威胁了国家安全和稳定。由于大数据网络安全攻击事件仍呈高发态势，而且内容多又复杂，利用大数据分析技术特有的特点，为大规模网络安全事件监测分析提供计算支撑力量，并且对海量的基础数据进行深度挖掘及分析处理，及时监测发现网络安全事件，实现对整体网络安全态势的感知。
二、大数据基本概述及分析技术
（一）大数据基本概述
随着信息技术全面融入社会生活，整个世界的信息量正在不断增多，而且增长的速度也在不断加快。所谓的大数据是指无法在一定时间范围内用常规软件工具进行获取、存储、管理和处理分析的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的规模之大，其在获取、存储、分析等方面已经远远超出传统软件工具能力范围，业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征，分别是大量化，多样化，快速化，价值密度低。
（二）HadoopMapReduce大数据技术
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。HadoopMapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（归约）”，其来源于函数式编程语言或者矢量编程语言里的特性。Mapreduce是一个计算框架，其表现形式就是具有一个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是最终需要的结果，计算模型如下图所示：
（三）Spark大数据分析技术
Spark是一个基于内存计算的开源的集群(分布式）计算系统，Spark非常小巧玲珑，由加州伯克利大学AM