扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要讲解了“MapTask流程是怎样的”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“MapTask流程是怎样的”吧！
创新互联公司-专业网站定制、快速模板网站建设、高性价比泰山网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式泰山网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖泰山地区。费用合理售后完善，10余年实体公司更值得信赖。
1、从job提交流程的24步，开始mapTask的流程分析，进入submitJob --LocalJobRunner.java中的788行 Job job = new Job(JobID.downgrade(jobid), jobSubmitDir); //创建一个可以真正执行的Job 该Job: LocalJobRunner$Job , 且是一个线程 $表示内部类
2、因为当前的Job对象是一个线程，所有执行线程要执行run方法，因此直接找到 LocalJobRunner的run方法进行查看 --定位到537行 TaskSplitMetaInfo[] taskSplitMetaInfos = SplitMetaInfoReader.readSplitMetaInfo(jobId, localFs, conf, systemJobDir); //读取切片的metainfo信息，即提交job过程中在临时目录中生成的job.splitmetainfo文件
3、向下走断点，定位到下方代码 --547行 ListmapRunnables = getMapTaskRunnables( taskSplitMetaInfos, jobId, mapOutputFiles); //根据切片的metainfo信息，可以得出有多少个切片，再生成对应个数的Runnable对象. 每个Runnable对象对应一个线程，每一个MapTask运行在一个线程中（基于本地模式的分析） Runnable : LocalJobRunnber$Job$MapTaskRunnable ---联想到线程
4、ExecutorService mapService = createMapExecutor(); //创建线程池对象 runTasks(mapRunnables, mapService, "map");// 将所有的LocalJobRunnber$Job$MapTaskRunnable对象提交给 线程池执行，进入到runTasks方法内部。 --LocalJobRunner中的466行
5、//每个线程负责一个Runnable执行，定位到每个Runnable内部的run方法，查看具体执行（以内部类的方式嵌套）
for (Runnable r : runnables) {
service.submit(r);
}
LocalJobRunnber$Job$MapTaskRunnable交给每个线程执行时，会执行到
LocalJobRunnber$Job$MapTaskRunnable的run方法，因此接下来看
LocalJobRunnber$Job$MapTaskRunnable的run方法 --LocalJobRunner中的248行
6、进入到run方法内部，定位到254行 MapTask map = new MapTask(systemJobFile.toString(), mapId, taskId, info.getSplitIndex(), 1); //创建MapTask对象 --在每一个线程中都会执行，会创建一个mapTask对象
7、进入map.run(localConf, Job.this); --271行 //执行MapTask的run方法，关联到MapTask方法中的run 
进入到MapTask的run方法内
首先进行分区设置
partitions = jobContext.getNumReduceTasks();
if (partitions > 1) {
partitioner = (org.apache.hadoop.mapreduce.Partitioner)
ReflectionUtils.newInstance(jobContext.getPartitionerClass(), job);
} else {
partitioner = new org.apache.hadoop.mapreduce.Partitioner() {
@Override
public int getPartition(K key, V value, int numPartitions) {
return partitions - 1;
}
};
}
8、定位到MapTask中run方法的347行，并进入runNewMapper()方法，提前判断下是否使用新的api
进入runNewMapper()方法，定位到MapTask的745行开始读源码