文档介绍：电子科技大学
硕士学位论文
企业级数据接入平台的研究与设计
姓名:杨承玉
申请学位级别:硕士
专业:计算机应用技术
指导教师:秦志光;耿技
20050314
摘要论文分析了企业级的数据接入环境的特点,以提供适用于该环境的数据接入服务为系统目标,进行了从系统部署到功能体系、软件层次的分析与设计,并由此构建了企业级数据接入平台的基本功能模型。在此理论基础卜,设汁』实现了一个实用的企业级数据接入平台。课题的最终成果为:设计并实现了一个企业级的数据接入平台。该模型所提供的数据接入服务能够提供安全、可靠的接入服务,能够处理异构环境的数关键词:企业级数据接入平台,高性能,异构环境,可扩展性,可伸缩性据接入,具有良好的处理性能、功能可扩展性、规模可伸缩性,并且易于管理和维护。
.琣..,,甀·—珽—,甌
拯:独创性声明关于论文使用授权的说明包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅和借阅。本人授权电子科技大学可以将学位本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不作了明确的说明并表示谢意。签名:日期:上材甑ㄔ滦稳论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。C艿难宦畚脑诮饷芎日期:年月日
第一章引言研究背景与意义本课题来源于四川省科技厅重点科技攻关项目《网络信息内容审计与监控系统》。整个项目由网络数据采集分析器、网络数据接入平台、应用平台以及数据作者将这种大型分布式网络环境称为企业级的运行环境;将适用于该环境的数据接入平台称为企业级数据接入平台:1究翁饩褪钦攵哉庵制笠导妒萁尤肫教ǎ辛舜酉低程逑结构到具体适用的系统模型的研究,并对其实现细节加以讨论。在这种企业级的运行环境中,数据采集节点大量分散,负责从网络中采集并根据指定的策略分析原始网络数据包。可以根据应用平台的要求,灵活地为应用平台提供定制的数据来源。通过公网将采集到的数据上传给集中处置中心。各个采集节点产生的大量采集数据信息、样本数据、以及各种图像、网页文件通道,主要负责将来自各地数据采集分析器的采集数据通过网络,安全、可靠、高效地接入到数据中心,并保证接入的合法性,以及接入数据的格式标在这种企业级的数据接入环境中,由于参与传输工作的数据节点数目众多,上传的数据量巨大、以及传输的阵发性等特点,对数据传输的效率、性能、可靠性等方面提出了较高要求;由于处在从公网到局域网的交界线上,对安全性也提出了特别的要求;同时要求系统具有良好的维护和管理机制。传统的接入中心组成,共同完成对闲畔⒛谌莸募嗫亍⑸洗ā⒐芾砗筒檠V饕S户为国家安全部门或者有同类需求的单位公司等。其中,提高大型分布式网络内容审计与监控系统体系的灵活性、可扩展性,保证其运作的可靠性、高效性,关键是拥有一个适用于该环境的数据接入平台。等需要及时快速地传输到数据中心;同时,还需要处理后台数据中心随机下发的规则或广播信息。数据接入平台是将来源于采集节点的数据接入到后台数据中心的数据接入准、有效性。第一章
相关背景服务体系结构与数据传输工具已经无法胜任这种企业级接入环境的需求。企业级数据接入平台是面向这种分布式环境的数据传输通道和管理平台,企业级数据接入平台从体系结构的设计到其核心程序的实现,为支持企业级的数据接入服务进行了特别的考虑与定制,并提供完备的监视与调节机制,该数据接入平台模型广泛适用于企业级别的分布采集一集中处理系统中,具下面将对目前常见的信息传输方式作一个简要的介绍与分析。·数据库复制方式【炕谑菘獾母粗品绞娇煞治J凳备粗啤⒍ㄊ备粗坪痛娲⒆7⒏粗疲⑶实时复制的实质是实现主、备用系统的数据库的数据同步凳被蛘咦际时同步词墙饔孟低呈菘獠僮鱈实时或者周期性地复制到备用系统数响,可能增加对磁盘存储容量的需求ǘ訪的存储低吃诵谢指唇技术实现容灾的解决方案有的智能存储系统自身实现数据的远程复制和同步,即智能存储系统将对本系统中的存储器疧操作请求复制到远端的存储系统中并执行,保证数据的一致性。由于这种方式下数据复制软件运行在存贮系统内,因此,较容易实现主中心和容灾备份中心的操作系统、数据库、系统库和目录的实时拷贝维护能力,且不会影响主中心主机系统的性能。如果在系统恢复场所具备了实时数据,那么就可能做到在灾难发生的同时及时开始应用处理过程的恢复。完成对数据的安全接入、格式标准化、预定义的处理、以及上传、分流。以便改善系统运行级别,以