hadoop如何解决discp不同版本间拷贝数据的问题

这篇文章主要为大家展示了“hadoop如何解决discp不同版本间拷贝数据的问题”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章吧。

创新互联建站专注骨干网络服务器租用10多年，服务更有保障！服务器租用，中国电信成都枢纽中心成都服务器租用，成都服务器托管，骨干网络带宽，享受低延迟，高速访问。灵活、实现低成本的共享或公网数据中心高速带宽的专属高性能服务器。

hadoop discp 的时候遇到的checksum mismatch问题

解决方法

网上普遍解决方法

在hdfs-site.xml

将dfs.checksum.type属性设置为CRC32

使用过程中仍然有报上述错误

经检验参照 http://blog.sina.com.cn/s/blog_7ed002b30101kk08.html

使用 -update -skipcrccheck 选项即可。

hadoop distcp -update -skipcrccheck hftp://host:50070/文件 /路径

以上是“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

当前标题：hadoop如何解决discp不同版本间拷贝数据的问题
转载注明：http://csdahua.cn/article/pccopc.html

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

行业动态