安装hadoop

网站的建设成都创新互联公司专注网站定制,经验丰富,不做模板,主营网站定制开发.小程序定制开发,H5页面制作!给你焕然一新的设计体验!已为不锈钢雕塑等企业提供专业服务。

解压hadoop

sudo tar -zxvf hadoop

相关配置

1、将doc目录进行删除

将/hadoop01/hadoop3/share

下的doc目录进行删除

rm -rf doc

2、对hadoop01/hadoop3/etc/hadoop

修改export JAVA_HOME="/yds/java/jdk8"

chmod +x hadoop-env.sh

3、伪分布式的环境搭建

目录：/hadoop01/hadoop3/etc/hadoop

3-1、修改core-site.xml

在configuration节点上加

fs.defaultFS

hdfs://hadoop001:9000

注:hadoop001是主机名

3-2、修改hdfs-site.xml

在configuration节点上加

dfs.replication

1

3-3、免密设置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod  0600 ~/.ssh/authorized_keys

可通过ssh 主机名进行测试

3-4、启动hadoop

首次启动需要初始化

进入到bin目录下：

./hdfs namenode -format

如果需要进行hdfs直接运行。需要将hdfs放到里面

修改hdfs的环境变量

sudo /etc/profile

export $HADOOP_HOME=/hadoop01/hadoop3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

启动进入到sbin目录

./start-dfs.sh

查看是否启动:

jps

如果出现外网无法访问时：

端口外网可访问：

iptables -I INPUT 9 -p udp --dport 9870 -j ACCEPT

systemctl start firewalld.service#启动firewall

systemctl stop firewalld.service#停止firewall

systemctl disable firewalld.service#禁止firewall开机启动

访问hdfs:

http://192.168.0.130:9870

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

当前名称：03Hadoop3与Centos7安装手册-创新互联
文章链接：http://csdahua.cn/article/ejiie.html