网赢中国专注大数据营销 [会员登录][免费注册][网赢中国下载]我要投稿|加入合伙人|设为首页|收藏|RSS
网赢中国是大数据营销代名词。
大数据营销
当前位置:网赢中国 > 行业资讯 > 技术文章 > 大数据营销技术文章 > Hadoop作业提交深度剖析4–作业提交-Hadoop
Hadoop作业提交深度剖析4–作业提交-Hadoop
编辑:wuyudong 发布时间: 2015-7-9    文章来源:工学1号馆
大数据营销

本文主要剖析Hadoop作业提交系列的作业文件提交过程


 


7201718


 


先看JobClient类的源代码开头的注释,翻译如下:


JobClient是一个为了将用户端作业与JobTrack连接的基础接口,JobClient提供了便利的提交作业、跟踪进度,访问组件任务的报告/日志,获取Map-Reduce集群的状态信息等等。作业提交过程涉及如下:


1、检查作业的输入输出规格


2、为作业计算InputSplits(后面的文章详细介绍)


3、如果有需要,为作业的DistributedCache计划必须的账户信息


4、将作业的jar包和配置信息复制到分布式文件系统分map-reduce的系统目录


5、向JobTrack提交作业并随时监控它的状态


通常,用户创建应用,通过JobConf类描述作业的不同方面,并使用JobClient提交作业和监控它的进度


下面是一个例子,关于如何使用JobClient: