1 / 64
文档名称:

大数据与分布式计算.ppt

格式:ppt   大小:4,244KB   页数:64页
下载后只包含 1 个 PPT 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

大数据与分布式计算.ppt

上传人:892629196 2019/9/22 文件大小:4.14 MB

下载得到文件列表

大数据与分布式计算.ppt

文档介绍

文档介绍:HDFSHadoopDistributedFileSystem1990年,,所以,只需五分钟的时间就可以读取整个磁盘的数据。20年过去了,1TB级别的磁盘驱动器是很正常的,但是数据传输的速度却在100MB/s左右。所以它需要花两个半小时以上的时间读取整个驱动器的数据。从一个驱动器上读取所有的数据需要很长的时间,写甚至更慢。如何解决?磁盘损坏数据丢失怎么办?如果需要存储计算1000T数据怎么办?常用RAID技术RAID类型访问速度数据可靠性磁盘利用率RAID0很快很低100%RAID1很慢很高50%RAID10中等很高50%RAID5较快较高(N-1)/NRAID6较快较(RAID5)高(N-2)/NHDFS系统架构什么是HDFS?HadoopDistributedFileSystemHadoopDistributedFileSystem(HDFS),,运行于商用硬件集群上。超大文件流式数据访问一次写入多次读取商用硬件