文档介绍：这种新颖的直方图技术具有较小的时间复杂度氅搿和空间复杂中文摘要度窀等尝华⒛芪M槐浼觳馓峁┳既返木奂檠С郑虼擞胂钟兄近年来,由于来自实际应用中的需求的推动,数据流上的异常检测技术的研究已经受到了学术界和工业界的越来越多的重视。数据流上的异常检测在金融风险分析、通信网监测、网络流量管理、趋势分析、罩痉治觥⑼缛肭旨测、传感器网络管理等领域具有广泛的应用。例如,为了调节电信网络的性能,需要对电信网中的数据流进行监测,其检测异常的准确性对电信网络的正常运行是至关重要的。同样的应用场景也存在于高速公路上的交通管理,相关趋势的分析和预测,网页点击流的分析,信息系统的入侵检测以及传感器网络的管理等。在这些场景中,有相当~部分应用需要及时地对任务进行处理,以获得尽可能短然而,传统的数据库技术是用来管理静态数据集的,其很难直接被用于对动态数据的实时监测和挖掘。因此,为了实时地监测数据流,需要采用伸缩性强的异常检测算法在有限的时间内处理大量的数据流。在对数据流的处理中,最大的挑战就是要在有限的内存空间,需要顺序的单遍扫描算法,并且要实时返回精确的结果。本文综述了国际上关于数据流异常检测的研究成果,在分析了现有研究工作的基础上,提出了异常的定义和数据流上异常检测要研究的问题,以及异常检测系统的框架。在对数据流上异常检测的研究过程中,本文的主要贡献有如下岢隽俗允视Φ耐槐涞亩ㄒ澹允视Φ耐槐涓尤娴馗爬耸萘魃系耐变信息,并且排除了颠簸数据的干扰。根据该定义,本文又提出了三种突变检测方法,其中包括和综合突变检测算法,这些算法能够保证以高于用户指定的准确率检测数据流上的突变,而且这些算法既能检测单调聚集函数值的突变,又能检测非单调聚集函数值的突变。突变检测算法所依赖的是本文提出的倒置桶序列的直方图虺艻。方图技术相比更加适用于数据流上的突变检测。的响应时间。三个方面:,
岢隽嘶诘サ魉阉骺占涞耐槐浼觳馑惴āJ紫龋岢隽耸萘魃系牡サ搜索空间的构建算法及改进后的构建算法,从而对实际应用中的近似分形数据进行了分形变换,使得滑动窗口的错排序误差。其次,基于单调的搜索空间设计了突变检测算法。该算法能将突变检测处理时间复杂度从降为琺为需要被检测的滑动窗口数目。最后,分析并给出了基于单调搜索空间的突变检测方法的误差界限,使得本文提出的突变检测算法具有理论上的误差上限的保证。岢隽嘶诜侄畏中文P偷奈薏问斐<觳馑惴āJ紫龋疚奶岢隽俗钣的分段分形模型以及数据流上的近似最优分段分形模型。利用近似最优的分段分形模型为长为札的数据流建模的时间复杂度为,空间复杂度为5诙岢隽嘶诜侄畏中文P偷耐槐浼觳馑惴ǎ盟惴ㄔ诜段分形模型具有理论误差界限保证的前提下,能够准确地检测数据流上的突变。第三,本文提出了无参数的异常检测算法。该算法能够在最合适尺寸的滑动窗口上检测异常的情况,不需要用户设定任何参数,也不需要使用训练数据。使用该算法在数据流上检测异常的时间复杂度仅,空间复杂度仅为。综上所述,本文针对现有异常检测中存在的三类问题,分别提出了从问题定义、概要数据结构到异常检测算法的完整方案,并提出了以本文技术为核心的异常检测系统框架。理论分析和实验结果表明,与已有的研究成果相比,本文给出的异常检测方法具有较高的精度和较低的时间、空间复杂度,更加适用于数据流的应用场景:金融风险分析、通信网监测、网络流量管理、趋势分析、罩分析、网络入侵检测、传感器网络管理等。关键词:流数据,异常检测,分形,分段分形模型,搜索空间分类号:
%措铲%措铲..,甒,甌琁瑆—,,猺,琣,甋瑆瓾..琫.】】甌...
.,畐琣琭,,甌獁琣瑆,.琣瓵甌甌:,瑂
表目录纽约证券交易所定义的异常波动及停止交易措施菔纠符号名表...Ⅺ....................
图目录聚集函数值的幂律伸缩性关系。和窃诓煌恼媸凳数据流上异常检测的研究现状和本文的研究内容......自适应的突变检测与传统突变检测的对比...具有双边报警域的突变检测...很难设定要检测的滑动窗口大小,需要同时检测尽可能多的窗口异常检测系统的框架.........颠簸对突变检测的干扰........近似优化直方图和的桶序列比较突变检测的误差界限分析..传统的突变与自适应突变的不一致性∞.,变化蚿的值突变检测的双边报警域陋:浠闹.......任意长度的滑动窗口均可能产生突变....。突变检测算法的准确性谑菁疍虳媳浠和卢的值员妊芯縄虯目占淇O在数据集浠的值槐浼觳獾氖奔淇O变化数据集的大小,口..槐浼觳獾淖既仿识员仁笛椋槐浼觳獾氖奔淇O员仁笛椋集上获得的实验结果。怯糜诶砺鄯治龅氖疽馔肌不同的幂律关系对应不同的单调搜索空间......分段的单调搜索空间........系耐槐浼觳饽P停∞组毖船艏让卯∞∞盯豁∞