文档介绍：*上海联通大数据平台规划方案汇报目录二、大数据平台整体规划一、大数据应用发展趋势大数据大数据对电信运营商的应用价值体现上海联通数据平台现状经过一二期的建设,精细化运营平台的数据中心,已经成为上海联通最大、内容最丰富的数据仓库;随着数据量的增长,需要对基础架构做长远规划;有必要深入挖掘数据价值,研究新的商业模式,将成本中心转化为利润中心5大数据处理的需求和特点低成本运营一体化运营精细化运营全网运营实时、智能化运营集中化建设、管理和维护可不断线性扩展提高资源综合利用率标准化功能组件,可共享可复用按业务量、按需支付BASS与BOSS、CRM的一体化BSS与MSS、OSS、VAS等跨域一体化对外部客户和应用的一体化片区化、网格化管理长尾市场、小众市场的支撑个性化、短周期需求的满足异地客户、家庭客户、集团客户一点接入、全网服务、全网客户画像全国统一套餐、全网营销、统一客服实时数据获取、处理、分析智能化主动事件触发智能管道移动互联网业务运营发展趋势对业务支撑平台的集中化要求对数据架构的集中化要求集中化、大容量、高扩展、高可用数据库平台:支持全网型数据、跨域数据的整合,形成集中化管理的的企业级数据中心高性能:支持3G时代更高的实时性要求、支持动态资源共享:支持多租户管理、资源动态按需供应可重用、标准化组件:形成可重用组件,支持一次开发、各省共享的模式,形成规模型效益数据集中化趋势使得运营商面临着海量数据的存储及分析问题,大数据在支撑移动业务发展趋势中,充当重要角色。电信运营商数据集中化趋势7电信运营面临的大数据挑战移动互联网和个人消费领域业务扩展和CEM导致海量数据的及时分析带来挑战运营商一体化集中运营和透明管控,催生巨大的经营分析数据仓库,对大数据的存储、性能、开放带来挑战DPI和信令监测,产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战ICT融合,核心网络、运营支撑和VAS业务数据的融合催生海量UserProfile并集,对大数据的关联分析计算效能带来挑战移动互联网流量井喷与客户行为分析业务融合、能力互通带来数据融合提升客户体验要求分析网络服务数据IT系统集中化和行业数据价值挖掘BSSBI数据:河南17个地市,每天抽取正常用户数7000多万,拨备用户数3000多万,DW层用户表总量1亿多条;,;;GPRS文件每个100M左右,其它文件25M。日接口数据量:2000G,其中话单220G,WAP清单300G,工单服务200G,用户、帐务300G,其它980G。每月124TB数据量入库,历史数据保留1年,。按照用户数简单测算,,总数据量》10PB!联通总部3G互联网访问记录查询及分析系统:全录,要存放6个月,约2PB的上网记录数据。上网记录入库时间小于30分钟,原始上网记录保留6个月。上网查询速度不高于1秒,并发查询数1000请求/秒。集群规模188个数据节点,(用户资料,产品订购信息):15G/日*365+40G*12月=5T/年考虑20%的业务增长率后为:6T/年用户上网数据话单数据:250T/年考虑20%的业务增长率后为:300T/年MR数据话单数据:634G/日634G/日*365=227T/年考虑20%的业务增长率后为:272T/年BSS数据新增新增评估中随着业务发展数据量的增加,随着应用复杂导致的数据量增加,这些数据量导致了数据存储和处理压力;数据仓库无法线性扩容,管理难度加大,成本高扩容压力大,效率下降等传统数据仓库只保存处理后的汇总数据。在大数据架构下需要对用户原始话单进行长期保存。需要扩容大量存储空间。大数据使得现有的数据处理方法面临新问题面对海量的数据压力,需要大数据平台提供可供线性扩容的存储能力。每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。由于传统数据仓库的数据处理流程与业务保持紧密关联。整个数据加工流程为最终应用服务。为缓解存储压力在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段。大数据使得现有的数据处理方法面临新问题数据源明细数据层(DW)汇总层(MK)报表数据标签库指标数据客户统一视图……应用层DW&MK操作型数据ODS层Oracle数据库精细化营销架构241234现网数据平台是传统关系型数据库架构。大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理,缺乏非结构化数据的处理能力。用户上网行为等互联网行为数据以结构化数据方式保存至数据仓库中。传统数据仓库无法有效应对大数据分析需求1