扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
通过命令行下载Hadoop ,我下载的版本是1.2.1,版本稳定且方便学习。
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:空间域名、网页空间、营销软件、网站建设、定西网站维护、网站推广。
[plain] view plain copy
wget
下载完成后,将hadoop安装包转移至要安装的目录
[plain] view plain copy
mv hadoop-1.2.1.tar.gz /usr/hadoop/
cd /usr/hadoop/
解压
[plain] view plain copy
tar -zxvf hadoop-1.2.1.tar.gz
配置Hadoop
配置文件在 hadoop的conf文件夹下
首先修改 hadoop-env.sh 文件
[plain] view plain copy
vim hadoop-env.sh
找到 # export JAVA_HOME=…..
修改为 export JAVA_HOME=/usr/Java/java8
注意 // 如果忘记java的路径,可以通过命令 echo $JAVA_HOME查看
其次修改 core-site.xml 文件
其实 修改 hadoop-env.sh
[plain] view plain copy
vim hadoop-env.sh
修改内容为
[html] view plain copy
configuration
property
namehadoop.tmp.dir/name
value/hadoop/value
/property
property
namedfs.name.dir/name
value/hadoop/name/value
/property
property
namefs.default.name/name
valuehdfs://canghong:9000/value
/property
/configuration
然后修改 hdfs-site.xml
[html] view plain copy
configuration
property
namedfs.data.dir/name
value/hadoop/data/value
/property
/configuration
最后修改 mapred-site.xml
[html] view plain copy
configuration
property
namemapred.job.tracker/name
valuecanghong:9001/value
/property
/configuration
配置完成后,告诉系统hadoop的安装目录
[plain] view plain copy
vim ~/.bashrc
export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1
在 export PATH 中 加入 HADOOP_HOME
export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH
测试
在命令行输入 hadoop
出现
10015 JobTracker
9670 TaskTracker
9485 DataNode
10380 Jps
9574 SecondaryNameNode
9843 NameNode
则表示成功
格式化文件系统
[plain] view plain copy
cd /usr/hadoop/hadoop-1.2.1/bin
hadoop namenode -formate
启动
启动 bin下的 start-all.sh
start-all.sh
测试
在命令行 输入 jps 查看hadoop是否正常运行
按照小鸟云计算官方工程师给出的步骤:
集群安装配置Hadoop
集群节点:node4、node5、node6、node7、node8。
操作系统为:CentOS release 5.5 (Final)
安装步骤
一、创建Hadoop用户组。
二、安装JDK。下载安装jdk。安装目录如下:
三、修改机器名,修改文件/etc/hosts。如下:
四、安装ssh服务。命令:yum install openssh-server。
五、建立ssh无密码登陆。
在服务器列表中点击你要进入的轻量应用服务器,能够看到下图中的控制台界面。
左侧是操作功能列表,建站常用的功能全在这里了,只要把这里几个功能操作一遍,就能轻松建站不求人。
右侧是点击左侧功能区之后,看到对应的详细信息和操作引导,照着做就很轻松完成了。
轻量应用服务器建站过程
1、左侧功能区域的应用管理这里,是挺重要的一个项目。他把wordpress、宝塔面板、CentOS系统等等都看作是一个应用,根据个人选择安装了应用,在应用之上就可以建站了。这里说太详细了新手就会迷糊的。
老魏直接告诉你怎么选择:对于新手来说,选择wordpress或者BT-Panel(宝塔面板)都可以。如果选择wordpress就直接建站完毕了;如果选择BT-Panel还要另外再安装wordpress。宝塔面板好在后期管理起来极为方便
提示:我们在购买轻量应用服务器的时候,系统就会让你选择一个应用安装,如果你是随便选择的,现在又不想要了没关系,可以更换别的应用。去左侧功能区最下面的“重置系统”,更换一下应用类型就可以了。
4、应用配置
如果选择的是BT-Panel,应用详情这里有提示1)、2)、3)步骤,每个大步骤下面还有1、2、3、4等小步骤,蓝色的是链接,点击就执行了文字对应的命令。
首先要去防火墙(左侧功能区找)中添加8888端口,然后才能打开宝塔面板的网址。以后你修改了登陆端口后,记住也要在防火墙中修改一下。
宝塔面板远程登陆服务器,并执行密码查询命令之后,会返回密码,你要复制粘贴到宝塔登陆地址的密码框中, 用来登陆使用。用完了也要保存到本地电脑备用。
宝塔面板登陆之后就是安装环境、绑定域名、安装程序等等后续操作了
更多参阅咱们的博客吧,或者在这里留言问也行。
如果是集群的话,我考虑需要流畅运行的话,2核4G配置是可以满足的。因为这个集群形式,用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景,所以数据量是比较大的,所以配置太低了跑不动,会卡死的。
因为hadoop是海量数据的处理能力,所以服务器一定不能太小配置了,跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多,这里也写不开那么多内容,所以你可以留言或到我的博客上搜索相关内容,老魏有写过教程,还不止一篇,都挺详细的内容,可以帮助你入门。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流