文档介绍：:..大数据技术介绍(Hadoop与MPP部分,包含与传统技术的区别)版本号:。其中静态评价指标主要有投资回收期,投资利润率,投资利税率和资本金利润率;动态评价指标主要有投资回收期,净现值、净现值率,内部收益率。目录1 概述 大数据及大数据技术 引入大数据的意义 术语、定义和缩略语 52 大数据技术的引入 传统数据仓库数据特征 大数据技术应用场景 Hadoop与MPP与传统数据库技术对比与适用场景 83 Hadoop实施指导意见 应用场景 前期方案设计阶段的建议 对Hadoop软件选择的建议 所需硬件设备建议 组网方式建议 规划节点规模时需要考虑的因素 建设过程中的建议 对压缩的考虑 HBase设计 参数设置建议 系统调优 上线前注意事项 上线后效果评估 运维阶段的建议 任务调度 监控管理 告警管理 部署管理 配置管理 安全管理 日志管理 组织和培训建议 人员安排建议 培训建议 364 MPP数据库指导意见 应用场景 数据集市 数据分级存储(历史库或者明细库) ETL 小结 前期方案设计阶段的建议 软件平台选型建议 容量评估方法建议 网络评估方法建议 建设过程中的建议 数据分布规划 故障与恢复策略规划 运维阶段的建议 系统监控 告警管理 SQL监控 备份恢复 安全及权限控制 扩容及数据重分布 开发工具 组织和培训建议 475 系统集成建议 数据互通的建议 方式分析 技术实现 统一管理 透明访问 506 附录A-大数据技术介绍 Hadoop及生态圈 Hadoop简介 Hadoop生态圈系统 Hadoop选型 HadoopHA方案对比 MPP数据库 数据库架构风格 MPP数据库基本架构 MPP数据库主要运行机制 MPP平台技术规范和要点 X86服务器平台 网络 InfiniBand 万兆网 千兆网 适用场景 硬盘 硬盘类型介绍 硬盘比较分析 硬盘选购建议 虚拟化 概念 虚拟化技术介绍 适用场景 大数据(BigData)的定义众说纷纭,从技术讲上它通常具备数据量大(volume)、数据类型多(variety)和数据处理和响应速度快(velocity)的特征。麦肯锡定义大数据为超过了常规数据库软件所能搜集/存储/管理和分析的规模的数据集。大数据处理技术可以认为是处理大数据以便从中获取价值的技术。大数据及其技术正在影响着IT产业,利用Hadoop和关系数据库混搭来解决大数据难题是当前通常采用的方法。 引入原则 传统数据仓库系统已经建设运营十年,新技术的引入不能影响原有的使用感知,需要按照分阶段逐步引入的方式。可以参考如下的几个引入原则:1、先增量后存量。现有的数据处理系统引入大数据处理技术,面临着模型改造、流程改造等一系列的问题,可以首先在新上线应用引入大数据处理技术。2、先边缘后核心。对于原有功能的迁移,可以先迁移非关键的应用。这些应用不涉及到关键生产任务,可以忍受数据处理延迟和故障修复时间较高等可能出现的风险。3、先简单后复杂。数据处理逻辑较简单的应用也可以首先尝试引入大数据处理技术,降