文档介绍：想要出类拔萃,就要努力至少一万小时
Hadoop HDFS 数据一致性
分类: Hadoop-hdfs 2013-12-03 15:42 18人阅读评论(0) 收藏举报
hadoophdfs
HDFS 会对写入的所有数据计算校验和(checksum),并在读取数据时验证校验和。针对指定字节的数目计算校验
和。字节数默认是512 字节,。通过CRC-32编码后为4字节。
Datanode 在保存数据前负责验证checksum。client 会把数据和校验和一起发送到一个由多个datanode 组成的队列
中,最后一个Datanode 负责验证checksum。如果验证失败,会抛出一个ChecksumException。客户端需要处理这种
异常。
客户端从datanode读取数据时,也会验证checksum。每个Datanode 都保存了一个验证checksum的日志。每次客户端
成功验证一个数据块后,都会告知datanode,datanode会更新日志。
每个datanode 也会在一个后台线程中运行一个DataBlockScanner,定期验证这个 datanode 上的所有数据块。
在用 hadoop fs get 命令读取文件时,可以用 -ignoreCrc 忽略验证。如果是通过FileSystem API 读取
时,可以通过setVerifyChecksum(false),忽略验证。
Hadoop 中的 LocalFileSystem 会进行客户端的检验和,写文件时,会在目录下创建一个名
为 . 的隐藏文件,如果想禁止校验和功能,可以用RawLocalFileSystem 代替
LocalFileSystem 。
Configuration conf = ...
FileSystem fs = new RawLocalFileSystem();
(null, conf);
 .  这样会全局禁用
checksum 
LocalFileSystem 内部使用了 ChecksumFileSystem 完成checksum工作。通过 ChecksumFileSystem  可以
添加校验和功能。
FileSystem rawFs = ...
FileSystem checksummedFs = new ChecksumFileSystem(rawFs);
更多
上一篇:Hadoop Pig 安装
下一篇:归并排序 Merge sort
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
核心技术类目
全部主题 Java VPN Android iOS ERP IE10 Eclipse CRM JavaScript Ubuntu NFC WAP jQuery 数据库 BI HTML5
Spring Apache Hadoop .NET API HTML SDK IIS Fedora XML LBS Unity Splashtop pone