扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
Hadoop分布式文件系统
HDFS Hadoop Distributed Filesystem
分布式文件系统：当数据集大到超过一台独立的计算机存储能力时，就需要存储到若干台单独的计算机上，管理网络中跨多台计算机存储的文件系统称为分布式文件系统。
分布式文件系统复杂性：需要考虑节点故障、不丢失任何数据。
HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。
1.超大文件：TB甚至PB级。
2.流式数据访问：一次写入，多次读取是最高效地访问模式。在数据集上长时间进行各类分析，每次分析都涉及到数据集的大部分甚至全部。
3.商用硬件：不需要昂贵且高可靠的硬件，商用硬件，高故障率，但不被用户察觉。
不适合运行在HDFS上：
1.低延迟的数据访问：高数据吞吐量，以高时间延迟为代价。
2.大量的小文件：namenode将文件系统的元数据存储在内存中，所能存储的文件总数受限于namenode的内存总量。
3.多用户写入，任意修改文件：一个writer，写操作总是将数据添加到文件的末尾。
数据块：
HDFS的数据块，默认64MB。
HDFS的快比磁盘的块大，目的是为了最小化寻址开销。如果块设置的足够大，从磁盘传输数据的时间可以明显的大于定位这个块开始位置所需的时间。这样，传输一个由多个块组成的文件的时间取决于磁盘传输速率。
块概念的抽象好处：
1.一个文件的大小可以大于网络中任意一个磁盘的容量。一个文件的所有块不需要存储在同一个磁盘上。
2.使用块而非文件作为存储单元，简化存储管理。
3.块非常适用于数据备份进而提供数据容错能力和可用性。
namenode和datanode
HDFS集群有两类节点，并以管理者-工作者模式运行，即一个namenode（管理者）和多个datanode（工作者）。
namenode管理文件系统的命名空间，维护着文件系统树及整棵树内所有的文件和目录。
datanode是文件系统的工作节点，它们根据需要存储并检索数据块（受客户端或namenode调度），并且定期向namenode发送它们所存储的块的列表。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网