1 / 6
文档名称:

大数据架构的安全分析技术研究与实践.doc

格式:doc   大小:16KB   页数:6页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据架构的安全分析技术研究与实践.doc

上传人:袭人 2022/8/7 文件大小:16 KB

下载得到文件列表

大数据架构的安全分析技术研究与实践.doc

文档介绍

文档介绍:大数据架构的安全分析技术研究与实践
卢伟 摘 要:当前随着信息化技术的不断发展,计算机技术已经被广泛应用到人们的生产生活中的方方面面。其中,计算机技术带来便利的同时,也带来了安全隐患。为此,在信息数据膨胀化的当下,如何进行有判断分析,最终将分析结果进行永久保存。
2 分布式网络构件及数据存储架构设计
上述主要介绍了整体方案设计的关键点,这里进行分布式网络构件、数据存储架构的设计工作。对于分布式采集网络的设计,就要尽可能减少客户端的承担任务,同时还要确保采集网络的准确可靠稳定。基于此,本文在客户端采集网络设计主要采取sys脚本,以便高效的进行数据收集任务,其中采集网络层次主要采取二级分布式网络,并且进行不同层次之间的关联,最终达到采集数据的高吞吐。
数据源
对于数据源而言,主要以简化需求为主要基础来进行采集任务。通常来说,采集数据可以进行分类,即web网络日志访问、操作系统日志、web扫描数据、设备运行状态。其中,对于web、系统日志,可以通过sys完成数据存储,其次采取tcp模式进行flu的处理。设备运行状态等数据,可以借助于系统脚本程序,进行特征文件的匹配,进而获取内存空间、端口信息,之后通过netcat模式进行flu的收集工作。
Flu网络
对于采集层次而言,其主要进行对各系统的安全数据采集工作;汇聚层次则主要对收集到的数据进行汇集,并且将数据分配金各个不同的组件当中,如HDFS、KFA序列。本文所涉及的分布式采集网络主要采取Flu代理,以此实现对系统的日志收集,代理模式具有诸多优势,如其可以以数据规模、资源应用情况为基础,继而有效选择虚拟机、物理节点进行空间分配。代理模式的业务系统端口可以分成以下四种数据,即web网络日志、系统操作日志、扫描日志、设备运行,其可以充分发挥***的作用,对数据进行采集标记,继而进行AS模式机型数据序列化处理,传输到汇聚节点,在此过程中,主要依靠数据关联来实现采集、汇聚层次的数据对接工作。值得重视的是,针对信息数据规模量大的日志数据,这里主要采取布置SG,并且对数据传送方向进行控制,以便最终达到两个层次之间的数据高吞吐。
数据存储架构
对于数据存储架构设计而言,主要采取HDFS分布系统、KFA序列来进行构建,这里需要重点以控制吞吐量和数据动态实时性为主要目标。HFDS文件系统的构建,则要考虑节点架构和数据动态实时同步,以便能够保证信息管理的真实性,同样可实现数据的备份;KFA序列则主要通过控制协调机制对关键节点进行热切换,保障数据的可靠性。
3 安全分析实践
计算架构部署
在规划数据分析实现时,本方案根据不同的吞吐量和分析实时性的分析需求,在安全应用开发上做了Spark批处理分析与SparkStreaming流计算两种编程模型实现。分析程序批量或实时读取各类日志数据,根据行为特征或统计特征检测攻击行为,并进行数据的关联分析,可快速有效的从大量日志数据中检测出针对Web应用系统或操作系统攻击行为并追溯。为保证计算架构的高可靠,采用Spark-Standalone的HA Master的方式实现,各Master节点上的Curater进程实时监控Master的运行状态,并与Zookee

最近更新

一类新型荧光分子的设计、合成及性能检测的中.. 2页

2024年精选实用我的同桌作文范文8篇 9页

2024年精选关于观看《榜样6》心得体会范文参考.. 7页

管理学-part7-学生用 27页

学校的毕业生自我鉴定(通用)5则范文 4页

2024年精选关于为人师表立德树人演讲稿参考范.. 14页

管理咨询第4章规范运作程序 20页

一种基于SIP的嵌入式无线家庭网关的研究的任务.. 2页

纺织品的生物降解与可持续发展研究 23页

学校爱心捐助领导的讲话稿(精选合集) 3页

纺织品的新型功能与性能 23页

管理信息系统的开发方式与方法 30页

学校活动阵地建设工作总结 3页

纺织品在运动装备中的功能性 23页

学校校长在2021年度寒假安全教育工作会上的讲.. 3页

《诗经》联绵词韵律特点研究的中期报告 1页

2023年吉林省事业单位招聘《职业能力测试》考.. 3页

北师大版小学六年级下册语文《当代神农氏》教.. 17页

简谐运动的特点振动图象 23页

北师大版一年级语文上册《小小的船》flash教学.. 25页

答辩物流配送中心布局规划研究 30页

4--国民经济行业分类与代码2023 8页

费用确认函格式 3页

最新自嵌式砌块砌筑方案 12页

蒸汽管道试验方案 8页

糖尿病患者肺结核症状筛查登记表(共6页) 6页

建筑形体规则性判定报告 2页

应急响应及应急保障管理制度 7页

SN T 2389.15-2016《进出口商品容器计重规程 .. 8页

中共萧山区委山区人民政府关于加快经济转型升.. 10页