文档介绍：摘要随着社会的高速发展和信息化技术的普及，世界各地每时每刻都有大量的时序数据在诸如金融、工业、社交网络等领域产生，且在量上呈现快速增长趋势。由于这些时序数据在监管、决策、预测等方面有着极为重要的作用，随之而来的数据实时存储问题就显得极具探讨价值。现行的数据实时存储系统主要是基于关系数据库的实时存储技术，由于关系数据库本身设计的复杂性，导致了现行实时存储系统一系列效率，扩展性和移植性的问题。因此，本文提出了一种基于现有文件系统的时序数据实时存储技术。本文对基于文件的海量时序数据实时存储技术进行了论述，并针对海量时序数据流特征分析归纳了其实时存储技术的需求，提出相应的实时存储方案。分布式部署和高度定制化的线程模型带来了极高的扩展性，资源动态调度策略提高了在高吞吐时的抗压能力，并提出了一个基于高可用性集群和文件分时段索引策略的数据实时存储模型。本文对海量时序数据实时存储方案的技术架构，详细设计以及关键技术实现等方面进行了全面阐述，并通过方案在北美和欧洲各大金融市场的实际应用情况论证方案的可行性和高效性。关键词：时序数据，实时存储，高可用性，分布式，集群浙江大学硕士学位论文
籨—．，琲，．．，甋，．，，．瓵：，，浙江大学硕士学位论文．，
目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．⋯⋯⋯⋯⋯⋯⋯⋯⋯第滦髀邸第赂咝ШＡ渴毙蚴菔凳贝娲⒓际踝凼觥相关技术介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．呖捎眯约杭际酢第赂咝ШＡ渴毙蚴菔凳贝娲⒓际醯纳杓疲监控组件设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．文件处理模块设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯刂破教ㄉ杓啤研究背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯研究目标⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯研究内容和章节安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯现有实时存储技术介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．谑菘庀低车氖凳贝娲⒓际酢．谖募低车氖凳贝娲⒓际酢．娲⒎桨浮．凳贝娲⒓际醴治鲎芙帷．⒍恿屑际酢．觳絀／际酢协议⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．设计概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．架构设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．系统部署⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．核心处理模块的设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．诵拇砟？榈慕棠Ｐ汀．诵拇砟？榈呐渲谩其他通用组件设计⋯⋯⋯⋯⋯⋯⋯⋯：⋯⋯⋯⋯⋯．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．浙江大学硕士学位论文
．渲霉芾碜榧菊滦〗帷第赂咝ШＡ渴毙蚴菔凳贝娲⒓际醯墓丶迪帧高可用性集群的设计实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第赂咝ШＡ渴毙蚴菔凳贝娲⒓际醯挠τ谩第伦芙岷驼雇参考文献⋯⋯⋯⋯⋯．⋯⋯⋯．．．．．．．．．．．．．．．．．．．．⋯．⋯．．．．．鹋致谢．．．．．．．⋯．．．．．．．．．⋯⋯⋯．．．．．．．．．．．．．．．．．⋯．．．．．⋯．．．．．．罩居胍斐４碜榧模块的集成和通信⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯樯堋．凳贝娲⑾低持懈呖捎眯约旱氖迪帧基于分时索引的文件去重合并模型⋯⋯⋯⋯⋯⋯⋯⋯⋯．线程定制化的实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯资源动态调度的实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．实时状态监控的实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．应用案例背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．系统部署⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．．低惩仄松杓啤．砑渴稹系统配置⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．．呖捎眯约号渲谩．罩九渲谩．凳贝娲⑾低撑渲谩应用性能测试⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．低晨捎眯圆馐浴．低晨寡剐圆馐浴论文工作总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．未来展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．浙江大学硕士学位论文目录．
图目录图娲⒓际醴桨甘疽馔肌娲⒓际醴桨甘疽馔肌图ɑ缺阜莸那谢皇疽馔肌图咝ШＡ渴毙蚴菔凳贝娲⒓际跄？橥ㄑ都芄雇肌图高效海量时序数据实时存储技术集中监控式部署图⋯⋯⋯⋯⋯⋯⋯⋯图咝ШＡ渴毙蚴菔凳贝娲⒓际醴植技嗫厥讲渴鹜肌图高效海量时序数据实时存储技术集中式模块部署图⋯⋯⋯⋯⋯⋯⋯⋯图咝ШＡ渴毙蚴菔凳贝娲⒓际醴植际侥？椴渴鹜肌图诵拇砟？橄叱棠Ｐ汀图嗫啬？橄叱棠Ｐ汀图褐鞅富谢皇笔菪慈敕桨敢弧图集群主备机切换时数据写入方案一⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．图文件处理模块线程模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。嗫仄教ㄗ榧杓仆肌图日志与异常处理组件设计图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．图配置管理组件设计图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．图系统模块间详细通讯模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．图呖捎眯约航峁雇肌图呵谢蛔刺;弧图菸募胨饕募峁故疽馔肌图寮蚣芷舳鞒掏肌图寮蚣