1 / 5
文档名称:

最美不过初相见-好程序员教你Hadoop的正确打开方式-(1).docx

格式:docx   大小:46KB   页数:5页
下载后只包含 1 个 DOCX 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

最美不过初相见-好程序员教你Hadoop的正确打开方式-(1).docx

上传人:淘气小宇 2021/12/9 文件大小:46 KB

下载得到文件列表

最美不过初相见-好程序员教你Hadoop的正确打开方式-(1).docx

文档介绍

文档介绍:最美不过初相见-好程序员教你Hadoop的正确打开方式-(1)
最美不过初相见-好程序员教你Hadoop的正确打开方式-(1)
最美不过初相见-好程序员教你Hadoop的正确打开方式-(1)
最美不过初相见 好程序员教你 Hadoop 的正确打开方式?
最美不过初相见, 我和大数据 Hadoop 的开始始于好程序员。 经历了上一阶段的学****br/>对 Java 的了解逐渐加深, 潜移默化中树立了足够大的自信, 并投入到 Hadoop 的学****从
前辈那里得知这一部分知识是整个大数据培训中的重中之重,因此,更是不敢有一点怠慢。
Hadoop 的初识便带着十分的专注。 近期的知识点总结, 已足以验证我的努力与付出, 以下
是我的部分总结,愿和大家一同分享。
方式一、 Hadoop 是什么?
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构, 主要解决, 海量数
据的 存储 和海量数据的 分析计算 问题。 广义上来说, HADOOP 通常是指一个更广泛的概念
—— HADOOP 生态圈。方式二、 Hadoop 的优势
. 高可靠性: Hadoop 假设计算元素和存储会出现故障,它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。
:在集群间分配任务数据,可方便的扩展数以千计的节点。
:在 MapReduce 的思想下, Hadoop 是并行工作的, 以加快任务处理速度。
:自动保存多份副本数据,并且能够自动将失败的任务重新分配。
方式三、 Hadoop 的 组成
最美不过初相见-好程序员教你Hadoop的正确打开方式-(1)
最美不过初相见-好程序员教你Hadoop的正确打开方式-(1)
最美不过初相见-好程序员教你Hadoop的正确打开方式-(1)
HDFS :一个高可靠、高吞吐量的分布式文件系统。
:一个分布式的离线并行计算框架。
:作业调度与集群资源管理的框架。
:支持其他模块的工具模块 ( Configuration 、RPC、序列化机制、
日志操作)。
方式四、 YARN 架构概述
1. ResourceManager(rm) :处理客户端请求、启动 / 监控 ApplicationMaster 、监控
NodeManager 、资源分配与调度;
2. NodeManager(nm) :单个节点上的资源管理、 处理来自 ResourceManager 的命
令、处理来自 ApplicationMaster 的命令;
ApplicationMaster :数据切分、 为