扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
1.在大数据的领域之中，体系结构都是主从结构（存在主节点和从节点）
在此当中单点指的是主节点发生故障,主节点的故障会导致整个集群无法访问。无论是何种集群主节点的故障导致的结果都相似。
| 集群 | 主节点 | 从节点 |
|---|---|---|
| HDFS | NameNode | DateNode |
| Yarn | resourceManager | NodeManager |
| HBase | HMaster | RegionServer |
| Storn | Nimbus | Supervisor |
| Spark | Master | Worker |
通过创造多个主节点来避免当个主节点发生故障导致的集群无法访问。
不同的集群都需要借助ZooKeeper来实现HA。
2.集群的配置
Zookeeper集群：
192.168.157.12 （bigdata12）
192.168.157.13 （bigdata13）
192.168.157.14 （bigdata14）
Hadoop集群：
192.168.157.12 （bigdata12） NameNode1 ResourceManager1 Journalnode
192.168.157.13 （bigdata13） NameNode2 ResourceManager2 Journalnode
192.168.157.14 （bigdata14） DataNode1
192.168.157.15 （bigdata15） DataNode2
日志输出信息：
我们可以观察到两个主节点并不是都是Active的状态而是一个active一个standby。而且在Active状态下的主节点出现故障是可以自动将Standby状态下的主节点转化为active的状态从而实现应对单节故障导致集群无法访问的结果。
你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网