Hadoop集群部署方案.doc

文档介绍：Hadoop集群部署方案目录1.  网络拓扑  12.  软件安装  .  修改主机名  .  修改host文件  .  创建Hadoop用户  .  禁用防火墙  .  设置ssh登录免密码  .  安装hadoop  43.  集群配置  .  修改脚本  .  hadoop-  .  yarn-  .  配置文件  .  core-  .  hdfs-  .  mapred-  .  yarn-  .  配置datanode  .  创建目录  134.  启动zk集群  145.  启动hadoop  .  启动所有节点journalnode  .  格式化h1namenode  .  在h1上格式化ZK  .  启动h1的namenode,zkfc  .  启动h2上namenode  .  同步h1上的格式化数据到h2  .  启动HDFS  .  启动YARN  .  启动h2ResourceManager  .  h4上启动JobHistoryServer  .  查看ResourceManager状态  196.  浏览器访问  .  namenode管理界面  .  :50070  .  :50070  .  ResourceManager管理界面  .  :8088/  .  :8088/  .  JournalNodeHTTP服务  .  :8480/  .  DatanodeHTTP服务  .  :50075/  .  jobhistory管理界面  .  :19888/jobhistory  227.  测试  .  上传文件至hdfs  .  验证hdfsHA  .  验证yarn   (active)是(standby)否否Datanode是是是是ResourceManager是是否否NodeManager是是是是zkfc是是否否Journalnode是是是否JobHistory否否否是     ,h1,h2,h3,h4查看是否修改成功uname-a .创建Hadoop用户1)创建特定的Hadoop用户帐号以区分Hadoop和本机上的其他服务。sudogroupaddhadoopuseraddhadooppasswdhadoopusermod-a-Ghadoophadoop2)给hadoop用户添加权限,打开/etc/sudoers文件:在      root  ALL=(ALL)   ALL    后面添加    hadoop  ALL=(ALL)   ALL  (并非守护进程)依赖SSH来执行针对整个集群的操作。例如,Namenode是通过SSH(SecureShell)来启动和停止各个datanode上的各种守护进程的为了支持无缝式工作,SSH安装好之后,需要允许hadoop用户无需键入密码即可登陆集群内的机器。最简单的方法是每个机器创建一个无密码公钥/私钥对1),id_dsa为私钥2)将公钥文件复制成authorized_keys文件3)~/.ssh/authorized_keyssudochmod700~/.ssh4)测试是否设置成功sshh15)对h2、h3、h4这几个节点上的hadoop用户也配置ssh,配置过程和上述在h1上一样6)在h2、h3、h4这几个节点上都执行一次“cat~/.ssh/|******@h1'cat>>~/.