1 / 50
文档名称:

hadoop零基础学习.doc

格式:doc   大小:1,270KB   页数:50
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

hadoop零基础学习.doc

上传人:miaoshen1985 2019/7/27 文件大小:1.24 MB

下载得到文件列表

hadoop零基础学习.doc

相关文档

文档介绍

文档介绍:HADOOP学习LINUX安装vmware虚拟机路径:C:\e\hadoop\VMWare10软件\VMWare10安装安装在C:\e\vmware解压CENTOS路径:c:\e\hadoop\-右键打开方式-VMWare-workstation打开虚拟机之前先设置设置内存-暂设512M-确定设置网络适配器-选择仅主机模式说明:1 设置虚拟机IP:打开网络连接-1-右键属性-TCP/IPv4-设置IP:::选择网络适配器-高级-MAC地址-生成-确定开启虚拟机登录:选择other用户名:root(相当于administrator)密码:hadoopApplications-systemtools-Terminal(类似于命令行)选择右上角电脑小图标设置IP(autoeht1)Autoeth1-右键-editconnections-add-availabletoallusers打勾-设置ipv4-Method:Manual-Address:Add----apply设置完成验证设置是否生效:,那么网卡重新启动,命令:workrestart使用远程连接工具使用外部命令行工具Cmd-:c:\e\pietty 输入ip地址-open 输入用户名:root密码:hadoopLINUX常用命令跳转目录cd/根目录cd~家目录cdroot=cd~cd..:上级目录pwd:显示全路径ls命令ls:查看目录下包含什么东西ls-l:显示详细信息 ls-a:显示隐藏文件ls-l.:表示当前信息命令pwd:显示当前所处位置的命令clear:清屏创建文件夹,文件,删除,复制等命令mkdir:创建文件夹 批量创建文件夹mkdir-pp1/p2/p3:递归创建上级文件夹命令touch:创建空白文件more:查看文件内容rm:删除文件rmdir:删除文件夹rm-rf:删除文件(夹),不论层级多深,一概删除,并且不给出提示cp(copy):复制文件,还有一个功能是创建新文件复制:cp文件名文件夹名创建新文件:cp文件名另外一个文件名命令mv(move):移动文件,还有个功能是重命名移动文件:mv文件名文件夹重命名:mv文件名另外一个文件名VI操作当使用命令vif1回车时,进入了vi编辑器内,处于只读状态(只能看不能写);按字母”i“(insert)或者”a“(append)就可以进入编辑状态;按键盘上的”Esc“键,再按Shift+:,进入命令状态 如果输入命令wq,意味着保存退出; 如果输入命令q!,意味着不保存退出;linux权限Rwx说明:linux的权限使用9位字符表示,rwxrwxrwx这里面r表示读权限,w表示写权限,x表示执行权限,-表示没有权限实例说明rwx 输入命令ls-l.-rw-r--r--第一位表示文件或者文件夹‘-’表示文件‘d’表示文件夹黑色表示文件,蓝色表示文件夹命令chmod:修改权限三个组分别使用u、g、o表示,赋权限使用“+”,去掉权限使用“-”。这9位字符,每3位一组,分为3组。以此为例-rw-r--r--第一组表示创建者的权限;’rw-’读写权限u第二组表示创建者所在组的权限;’r--’g第三组表示其他人的权限;’r--’o权限还可以使用数字表示。rwx用数字表示为4+2+1=7。新创建文件的默认权限是644;+xf1//表示文件f1的创建者增加执行权限u表示第一组Chmodu-xf1//去掉执行权限 chmodo-rf1//表示文件f1的其他人去掉读权限o表示第三组HADOOP的伪分布安装HADOOP核心项目(由这两部分组成):HDFS:分布式文件系统主从结构:主节点:namenode从节点:datanodeNamenode:接收用户请求维护文件系统,目录结构管理文件与block(文件块,把文件划分成一个个的块)之间关系Datanode:存储数据,分块,文件会有多个副本MAPREDUCE:并行计算框架主从结构:主节点:只有一个:JobTracker从节点:TaskTrackerJobTracker负责:Jobtracker和tasktracker相当于项目经理与开发人员的关系接收客户提交的计算任务-分配任务给task执行-监控task执行情况Tasktracker:HADOOP特点:扩容,成本低,高效率,可靠性Namen