设为首页 收藏本站
查看: 1168|回复: 0

[经验分享] 【转】分析Hadoop自带WordCount例子的执行过程(3)

[复制链接]

尚未签到

发表于 2016-12-12 10:32:49 | 显示全部楼层 |阅读模式
  继续向下看:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->Optionfs=OptionBuilder.withArgName("local|namenode:port")
.hasArg()
.withDescription(
"specifyanamenode")
.create(
"fs");
opts.addOption(fs);

  有一个很重要的类OptionBuilder,它才完成了充实一个Option的过程,然后经过多次调用,会将多个Option都添加到opts列表中。
  看一看OptionBuilder类的withArgName()方法:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->/**
*ThenextOptioncreatedwillhavethespecifiedargumentvalue
*name.
*
*
@paramnamethenamefortheargumentvalue
*
@returntheOptionBuilderinstance
*/
publicstaticOptionBuilderwithArgName(Stringname)
{
OptionBuilder.argName
=name;
returninstance;
}

  上面,为一个OptionBuilder的实例指定一个参数(argName)为name,实际上是返回了一个具有name的OptionBuilder实例。
然后,又调用了hasArg()方法,它也是OptionBuilder类的静态方法:

<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->/**
*ThenextOptioncreatedwillrequireanargumentvalue.
*
*
@returntheOptionBuilderinstance
*/
publicstaticOptionBuilderhasArg()
{
OptionBuilder.numberOfArgs
=1;
returninstance;
}

为刚才指定参数名的那个OptionBuilder实例设置了参数的个数,因为第一次设置,当然个数为1了。

  调用withDescription()方法来设定描述信息:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->/**
*ThenextOptioncreatedwillhavethespecifieddescription
*
*
@paramnewDescriptionadescriptionoftheOption'spurpose
*
@returntheOptionBuilderinstance
*/
publicstaticOptionBuilderwithDescription(StringnewDescription)
{
OptionBuilder.description
=newDescription;
returninstance;
}

比较关键的是最后一步调用,通过调用OptionBuilder类的create()方法才真正完成了一个Option的创建:

<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->/**
*CreateanOptionusingthecurrentsettingsandwith
*thespecifiedOption<code>char</code>.
*
*
@paramoptthe<code>java.lang.String</code>representation
*oftheOption
*
@returntheOptioninstance
*
@throwsIllegalArgumentExceptionif<code>opt</code>isnot
*avalidcharacter.SeeOption.
*/
publicstaticOptioncreate(Stringopt)
throwsIllegalArgumentException
{
//createtheoption
Optionoption=newOption(opt,description);

//settheoptionproperties
option.setLongOpt(longopt);
option.setRequired(required);
option.setOptionalArg(optionalArg);
option.setArgs(numberOfArgs);
option.setType(type);
option.setValueSeparator(valuesep);
option.setArgName(argName);
option.setArgPattern(argPattern,limit);

//resettheOptionBuilderproperties
OptionBuilder.reset();
//returntheOptioninstance
returnoption;
}

  从上面一个Option的设置,我们可以看出来,OptionBuilder类其实是一个辅助工具,用来收集与一个Option相关的信息,从而将这些信息一次全部赋予到一个新建的Option对象上,这个对象现在具有详细的信息了。
  接着,通过CommandLineParser parserparse方法,可以知道public abstract class Parser implements CommandLineParser,从抽象类Parser中找到parse的实现:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->publicCommandLineparse(Optionsoptions,String[]arguments,
booleanstopAtNonOption)
throwsParseException
{
returnparse(options,arguments,null,stopAtNonOption);
}

  参数stopAtNonOption表明,如果解析过程中遇到的是一个空选项是否仍然继续解析。从前面parseGeneralOptions方法 中commandLine = parser.parse(opts, args, true);可知:我们传递过来一个true
  再次调用Parser类的重载成员方法parse(),如下所示,解析过程非常详细:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->/**
*Parsetheargumentsaccordingtothespecifiedoptionsand
*properties.
*
*
@paramoptionsthespecifiedOptions
*
@paramargumentsthecommandlinearguments
*
@parampropertiescommandlineoptionname-valuepairs
*
@paramstopAtNonOptionstopparsingtheargumentswhenthefirst
*nonoptionisencountered.
*
*
@returnthelistofatomicoptionandvaluetokens
*
*
@throwsParseExceptionifthereareanyproblemsencountered
*whileparsingthecommandlinetokens.
*/
publicCommandLineparse(Optionsoptions,String[]arguments,
Propertiesproperties,
booleanstopAtNonOption)
throwsParseException
{
//initialisemembers
this.options=options;
requiredOptions
=options.getRequiredOptions();
cmd
=newCommandLine();
booleaneatTheRest=false;
if(arguments==null)
{
arguments
=newString[0];
}
ListtokenList
=Arrays.asList(flatten(this.options,
arguments,
stopAtNonOption));
ListIteratoriterator
=tokenList.listIterator();
//processeachflattenedtoken
while(iterator.hasNext())
{
Stringt
=(String)iterator.next();
//thevalueisthedouble-dash
if("--".equals(t))
{
eatTheRest
=true;
}
//thevalueisasingledash
elseif("-".equals(t))
{
if(stopAtNonOption)
{
eatTheRest
=true;
}
else
{
cmd.addArg(t);
}
}
//thevalueisanoption
elseif(t.startsWith("-"))
{
if(stopAtNonOption&&!options.hasOption(t))
{
eatTheRest
=true;
cmd.addArg(t);
}
else
{
processOption(t,iterator);
}
}
//thevalueisanargument
else
{
cmd.addArg(t);
if(stopAtNonOption)
{
eatTheRest
=true;
}
}
//eattheremainingtokens
if(eatTheRest)
{
while(iterator.hasNext())
{
Stringstr
=(String)iterator.next();
//ensureonlyonedouble-dashisadded
if(!"--".equals(str))
{
cmd.addArg(str);
}
}
}
}
processProperties(properties);
checkRequiredOptions();
returncmd;
}

  解析之后,返回CommandLine类的实例,从而GenericOptionsParser类的成员变量commandLine获取到了一个引用。commandLine是GenericOptionsParser类的一个私有成员变量。
看一下CommandLine类的实现:

<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->packageorg.apache.commons.cli;
importjava.util.Collection;
importjava.util.HashMap;
importjava.util.Iterator;
importjava.util.LinkedList;
importjava.util.List;
importjava.util.Map;
/**
*Representslistofargumentsparsedagainst
*a{
@linkOptions}descriptor.
*
*Itallowsqueryingofaboolean{
@link#hasOption(Stringopt)},
*inadditiontoretrievingthe{
@link#getOptionValue(Stringopt)}
*foroptionsrequiringarguments.
*/
publicclassCommandLine{
//不能识别的options/arguments
privateListargs=newLinkedList();
/**theprocessedoptions*/
privateMapoptions=newHashMap();
/**theoptionnamemap*/
privateMapnames=newHashMap();
/**Mapofuniqueoptionsforeasetogetcompletelistofoptions*/
privateMaphashcodeMap=newHashMap();
/**theprocessedoptions*/
privateOption[]optionsArray;
//创建一个命令行CommandLine的实例。
CommandLine()
{
//nothingtodo
}
//从options这个HashMap中查看,判断是否opt已经被设置了
publicbooleanhasOption(Stringopt)
{
returnoptions.containsKey(opt);
}
//调用hasOption()方法,从options这个HashMap中查看,判断是否opt已经被设置了
publicbooleanhasOption(charopt)
{
returnhasOption(String.valueOf(opt));
}
//根据Stringopt返回Option的Object类型
publicObjectgetOptionObject(Stringopt)
{
Stringres
=getOptionValue(opt);
if(!options.containsKey(opt))
{
returnnull;
}
Objecttype
=((Option)options.get(opt)).getType();
return(res==null)?null:TypeHandler.createValue(res,type);
}
//根据charopt返回Option的Object类型
publicObjectgetOptionObject(charopt)
{
returngetOptionObject(String.valueOf(opt));
}
//根据指定的Stringopt获取Option的值
publicStringgetOptionValue(Stringopt)
{
String[]values
=getOptionValues(opt);
return(values==null)?null:values[0];
}
//根据指定的charopt获取Option的值
publicStringgetOptionValue(charopt)
{
returngetOptionValue(String.valueOf(opt));
}
/**
*Retrievesthearrayofvalues,ifany,ofanoption.
*
*
@paramoptstringnameoftheoption
*
@returnValuesoftheargumentifoptionisset,andhasanargument,
*otherwisenull.
*/
publicString[]getOptionValues(Stringopt)
{
opt
=Util.stripLeadingHyphens(opt);
Stringkey
=opt;
if(names.containsKey(opt))
{
key
=(String)names.get(opt);
}
if(options.containsKey(key))
{
return((Option)options.get(key)).getValues();
}
returnnull;
}
//根据指定的Stringopt,返回Option的值的一个数组
publicString[]getOptionValues(charopt)
{
returngetOptionValues(String.valueOf(opt));
}
//根据指定的Stringopt和StringdefaultValue获取Option的值
publicStringgetOptionValue(Stringopt,StringdefaultValue)
{
Stringanswer
=getOptionValue(opt);
return(answer!=null)?answer:defaultValue;
}
//根据指定的charopt和StringdefaultValue获取Option的值
publicStringgetOptionValue(charopt,StringdefaultValue)
{
returngetOptionValue(String.valueOf(opt),defaultValue);
}
//返回不能够解析的Option和参数的一个数组
publicString[]getArgs()
{
String[]answer
=newString[args.size()];
args.toArray(answer);
returnanswer;
}
//返回不能够解析的Option和参数的一个列表
publicListgetArgList()
{
returnargs;
}
/**
*jkeyes
*-commentedoutuntilitisimplementedproperly
*<p>Dumpstate,suitablefordebugging.</p>
*
*
@returnStringifiedformofthisobject
*/
publicStringtoString(){
StringBufferbuf
=newStringBuffer();

buf.append(
"[CommandLine:[options:");
buf.append(options.toString());
buf.append(
"][args:");
buf.append(args.toString());
buf.append(
"]]");

returnbuf.toString();
}
/**
*Addleft-overunrecognizedoption/argument.
*
*
@paramargtheunrecognisedoption/argument.
*/
voidaddArg(Stringarg)
{
args.add(arg);
}
//向CommandLine中添加一个Option,其中Option的值(可能多个)被存储
voidaddOption(Optionopt)
{
hashcodeMap.put(
newInteger(opt.hashCode()),opt);
Stringkey
=opt.getKey();
if(key==null)
{
key
=opt.getLongOpt();
}
else
{
names.put(opt.getLongOpt(),key);
}
options.put(key,opt);
}
//返回CommandLine的Option成员表的一个迭代器
publicIteratoriterator()
{
returnhashcodeMap.values().iterator();
}
//返回处理过的Option的对象数组
publicOption[]getOptions()
{
Collectionprocessed
=options.values();

//reinitialisearray
optionsArray=newOption[processed.size()];
//returnthearray
return(Option[])processed.toArray(optionsArray);
}
}

  一个CommandLine中包含一个重要的HashMap,里面存储的是键值对,即(key, opt),通过它可以非常方便地设置和访问。
  接着在parseGeneralOptions方法中调用processGeneralOptions()方法,进行处理:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->processGeneralOptions(conf,commandLine);
  processGeneralOptions的处理过程如下:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->/**
*Modifyconfigurationaccordinguser-specifiedgenericoptions
*
@paramconfConfigurationtobemodified
*
@paramlineUser-specifiedgenericoptions
*/
privatevoidprocessGeneralOptions(Configurationconf,
CommandLineline){
if(line.hasOption("fs")){
conf.set(
"fs.default.name",line.getOptionValue("fs"));
}
if(line.hasOption("jt")){
conf.set(
"mapred.job.tracker",line.getOptionValue("jt"));
}
if(line.hasOption("conf")){
conf.addResource(
newPath(line.getOptionValue("conf")));
}
if(line.hasOption('D')){
String[]property
=line.getOptionValues('D');
for(inti=0;i<property.length-1;i=i+2){
if(property!=null)
conf.set(property,property[i
+1]);
}
}
}

  传进去一个CommandLine实例,通过CommanLine的信息,来设置Configuration conf对象。设置Configuration conf对象的目的是:为HadoopTool工作而设置的,比如WordCount这个工具,在运行开始时需要获取到Hadoop的配置信息的,这个 就需要从这里设置的Configuration conf对象来获取。
  上面这个processGeneralOptions()方法,是根据CommanLine的对象,获取到所有参数值的一个数组,并返回。
  到此位置,前面都是为了初始化一个GenericOptionsParser parser解析器所做的工作:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->GenericOptionsParserparser=newGenericOptionsParser(conf,args);
  进而,可以使用 GenericOptionsParser类的实例parser 来获取Hadoop的通用参数了:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->//gettheargsw/ogenerichadoopargs
String[]toolArgs=parser.getRemainingArgs();

  已经具备了运行Hadoop工具的条件了,可以启动了:
<!--<br /><br />Code highlighting produced by Actipro CodeHighlighter (freeware)<br />http://www.CodeHighlighter.com/<br /><br />-->returntool.run(toolArgs);
  可以根据返回的状态码检查工具运行情况。
  上面Tool tool就是我们实例化的WordCount对象,这时候才进入到WordCount实现中。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-313173-1-1.html 上篇帖子: hadoop 分布式文件系统:体系和设计 (转载) 下篇帖子: Hadoop 0.23 CDH4 高可用集群指南
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表