文档介绍：南京邮电大学
硕士学位论文
基于云计算平台的电信经营分析系统中海量数据处理研究
姓名:丛中昌
申请学位级别:硕士
专业:计算机软件与理论
指导教师:茅苏
2011-03
南京邮电大学硕士研究生学位论文摘要
摘要
移动经营分析系统(Business Analysis and Supporting System,简称 BASS)是中国移
动业务运营支撑系统的核心子系统之一。移动 BASS 具有海量数据存储、数据源繁杂、处
理能力要求高等特点,这些特点使现有的移动 BASS 面临如何为日益增长的海量数据和复
杂业务提供强大计算和存储能力的挑战。云计算能够将分散的计算资源集中起来,形成一
个巨大的“资源池”,能更好地解决海量数据难以组织、难以处理的问题。要在移动 BASS
中应用云计算需要解决很多问题,如何高效地对海量源数据进行抽取、转换和装载
(Extraction、Transformation and Loading,简称 ETL)处理便是其中之一。
论文针对移动 BASS 的特点,借鉴中台的建设思想,设
计了基于云计算平台的移动经营分析系统(简称 CB-BASS)的框架结构;针对移动 BASS
现有 ETL 处理算法的不足,借鉴 Map/Reduce 思想,提出了基于拆分机制的海量数据处理
(Split Mechanism Based Data Processing,简称 SMB-DP)算法;针对基于贪婪算法的 ETL
调度方法的不足,引入了任务优先级概念,提出了改进的基于贪婪算法的 ETL 任务调度
(Advanced Greedy Based –ETL Tasks Scheduling,简称 AGB-ETL)算法。
在此基础上,搭建了 CB-BASS 的测试环境,选取移动 BASS 的计费账务类清单数据
进行了测试,并对测试结果数据进行分析和比较,验证了论文提出的 SMB-DP 算法和
AGB-ETL 算法可以更有效的实现移动 BASS 海量数据的 ETL 处理,更好地满足移动 BASS
的实际需求。

关键词:云计算;经营分析系统;海量数据处理;拆分机制;ETL 任务调度
I
南京邮电大学硕士研究生学位论文 ABSTRACT
ABSTRACT
Mobile Business Analysis and Supporting System (BASS in short) is one of core subsystem
of China Mobile Business and Operation Supporting has the features of mass data
storing、data plex、processing powerfully and so on. These characteristics make
existing mobile BASS face enormous challenges. As a puting model,puting
can pool puting resource together to form a huge "resource pool" .It can solve the
problem that mass data is difficult anize and deal with order to apply Cloud
Computing in Mobile BASS,many problems must be solve first, how to extract、transform and
load (Extract-Transform-Loading ,ETL in short)mass data efficiently is one of these.
panied with the features of mobile BASS,this thesis designed a System framework
structure based on the thought of China Mobile’s Cloud platform ―Big Cloud‖,which called
Mobile BASS based on puting platform (CB-BASS in short).As the reason of the
ing of traditional mass data processing algorithms in