扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
本篇内容介绍了“eclipse如何在Windows或Linux下启动Debug调式”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
成都创新互联2013年至今,是专业互联网技术服务公司,拥有项目成都网站制作、成都网站设计、外贸营销网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元江夏做网站,已为上家服务,为江夏各地企业和个人服务,联系电话:028-86922220
MR程序的Debug调式换言之就是MR程序的运行模式,MR程序有三种运行模式:本地模式(local)、集群模式(cluster)
Linux环境下:
1、本地模式:直接通过eclipse右键进行Debug即可
2、集群模式:
2.1、将hadoop的配置文件:core-site.xml/hdfs-site.xml/mapreduce-site.xml/yarn.xml拷贝到工程的src目录下,这样eclipse就会通过集群进行提交
2.2、提交时需要将本工程的jar包打到给本工程的目录下
2.3、同时需要设置环境变量:conf.set("mapreduce.job.jar","wordcount.jar")
Windows环境下:
首先Windows真的不适合对MR程序进行调式,不仅出现版本不兼容问题,调式起来的出现的各种环境错误也令人费解
1、本地模式:
1.1、首先需要下载windows版本的hadoop程序,并且需要在PATH路径下指定HADOOP_HOME
1.2、现在可以直接通过eclipse右键DEBUG直接调式(由于本人没有成功在WINDOWS运行本地调式并且出现了如下异常:)
2015-06-03 00:52:10,649 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2015-06-03 00:52:15,730 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1009)) - session.id is deprecated. Instead, use dfs.metrics.session-id 2015-06-03 00:52:15,730 INFO [main] jvm.JvmMetrics (JvmMetrics.java:init(76)) - Initializing JVM Metrics with processName=JobTracker, sessionId= Exception in thread "main" org.apache.hadoop.util.Shell$ExitCodeException: at org.apache.hadoop.util.Shell.runCommand(Shell.java:505) at org.apache.hadoop.util.Shell.run(Shell.java:418) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650) at org.apache.hadoop.util.Shell.execCommand(Shell.java:739) at org.apache.hadoop.util.Shell.execCommand(Shell.java:722) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:633) at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:421) at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281) at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303) at com.itheima.hadoop.runner.WordCountRunner.main(WordCountRunner.java:38)
2、集群模式
2.1、将hadoop的配置文件:core-site.xml/hdfs-site.xml/mapreduce-site.xml/yarn.xml拷贝到工程的src目录下
2.2、修改Hadoop源代码:YARNRunner.java文件,YARNRunner里面包含大量与Linux环境相关的配置,需要将器替换成Windows的环境配置,重新编译即可,这也是不建议在WINDOWS下调式的原因,因为修改起来非常麻烦
“eclipse如何在Windows或Linux下启动Debug调式”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流