文档介绍：1 基于 rabbitmq 的海量日志的分布式处理摘要:近年来,随着科学技术的发展,各种设备日志层出不穷,然而传统的基于单节点的集中式日志分析已经无法满足日志海量、异构、多样等要求, 何有效的利用分布式计算资源解决海量日志分析问题成为当下日志研究的一个热点问题。本文提出了基于消息队列 rabbitmq 的集群方案,并在此基础上测试了海量数据的分布式计算. 对比实验结果说明集群优势可以有效的解决日志分析海量数据的问题。关键字:计算机应用技术; rabbitmq ;分布式计算;日志分析; 中图分类号: TP3 文献标识码: A DOI : .1003- 本文著录格式: [1] 袁佳,郭燕慧. 基于 rabbitmq 的海量日志的分布式处理[J]. 软件, 2313 , 34(7): 19-23 0 引言随着计算机技术和网络技术的迅猛发展, 计算机系统已经从独立的主机发展到复杂的、互联的开放式系统, 这种情况导致计算机及网络的入侵问题越来越突出。近年来大规模的针对企业的安全事件不断发生, 网页仿冒、网页篡改、恶意代码、分布式拒绝服务等攻击手段层出不穷, 致使很多企业无法正常工作,给企业用户带来了巨大的损失。 2 根据 在 2012 年 10 月的最新统计, 2012 年上半年,网络攻击的频次、种类、复杂度均比往年大幅增加, 遭入侵和受控的计算机数量巨大,潜在威胁和攻击力继续增长,信息安全数据安全问题日益突出,网络安全形势依旧严峻。国家互联网应急中心( CNCERT ) 接收和自主检测的各种网络安全事件数量与 2011 上半年相比均有较大增加,其中,垃圾邮件事件与网页恶意代码事件均增长较快,网页恶意代码同比增长近一倍, 网页篡改事件和网络仿冒事件均有大幅增长,同比增长分别为 % 和 38% 。然而伴随着日志分析另一个问题是, 每天由各种设备产生的日志数据量越来越大。如何解决海量日志的分析问题领域另一个非常重要的研究课题。尤其是随着网络的快速发展, web 日志数量正在以指数级形式飞快增长。且 web 日志数据的具有海量、多样、异构、动态变化等特点, 这又使得基于传统的单一节点的集中式日志分析平台无法满足海量日志分析。设计一个通用的可扩展的分布式日志分析平台, 成为日志分析的必要组成部分。本文正是基于该问题,研究分析了现有的分布式计算技术。结合对 rabbitmq 消息队列的分析与研究。设计与实现了基于分布式计算平台的海量分析系统。本文后面章节对各个模块进行了阐述。并对本文的分布式计算平台的高效性进行了实验性的对比。实验表明采用该分析系统, 通过多个资源完成原先由一个节点承担的工作, 无论是在数据处理还是执行效率上面都是要优于原先的基于单机集中式的日志分析。 3 1 日志分析 日志采集 pre-decoding 主要从已经格式化的日志中提取确定的信息。例如: 主机名、日志源、时间等信息。 decoding 主要负责按格式类型从已经加载到内存的两条 decoder 链表中匹配到相应的格式化信息。 rules 步骤中主要是按 decodin g 提取到的信息匹配规则。生成相应的警告信息。 maild 模块根据警告信息依据设定的级别发送邮件通知。 2 rabbitmq 集群 AMQP ( A