文档介绍：电子信息学院
实验报告书
课程名:《云计算技术》
题目: 实验二 hdfs的使用
实验类别【设计】
班级: bx1002
学号: 31
姓名: 杨汉标
评语:
实验内容: 优秀[ ] 良好[ ] 合格[ ] 一般[ ] 不合格[ ]
报告格式: 优秀[ ] 良好[ ] 合格[ ] 一般[ ] 不合格[ ]
实验态度: 优秀[ ] 良好[ ] 合格[ ] 一般[ ] 不合格[ ]
实验结果: 优秀[ ] 良好[ ] 合格[ ] 一般[ ] 不合格[ ]
课题纪律: 优秀[ ] 良好[ ] 合格[ ] 一般[ ] 不合格[ ]
成绩: 指导教师: 杨志和
批阅时间: 年月日
一、实验目的
(使用虚拟机模拟)安装部署Hadoop-HDFS的方法。
,初步使用MapReduce模型编程。
二、实验内容
配置和使用SAN存储,设置连接IP SAN设备;
安装、部署、使用Hadoop-HDFS和配置运行MapReduce程序,使用MapReduce编程。
三、实验原理
实验一:
SAN(Storage work,存储局域网络)的诞生,使存储空间得到更加充分的利用以及管理更加有效。SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN本身就是一个存储网络,承担了数据存储任务,SAN网络与LAN业务网络相隔离,存储数据流不会占用业务网络带宽。在SAN网络中,所有的数据传输在高速、高带宽的网络中进行,SAN存储实现的是直接对物理硬件的块级存储访问,提高了存储的性能和升级能力。早期的SAN采用的是光纤通道(FC,Fiber Channel)技术,所以,以前的SAN多指采用光纤通道的存储局域网络,到了iSCSI协议出现以后,为了区分,业界就把SAN分为FC SAN和IP SAN。
iSCSI(互联网小型计算机系统接口)是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的,并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。iSCSI标准在2003年2月11日由IETF(互联网工程任务组)认证通过。iSCSI继承了两大传统技术:SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能,甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术,它解决了开放性、容量、传输速度、兼容性、安全性等问题,其优越的性能使其备受关注与青睐。
在实际工作时,是将SCSI命令和数据封装到TCP/IP包中,然后通过IP网络进行传输,具体的工作流程如下:
iSCSI系统由SCSI适配器发送一个SCSI命令;
命令封装到TCP/IP包中并送入到以太网络;
接收方从TCP/IP包中抽取SCSI命令并执行相关操作;
把返回的SCSI命令和数据封装到TCP/IP包中,将它们发回到发送方;
系统提取出数据或命令,并把它们传回SCSI子系统。
实验三:
,是根据Google的G