设为首页 收藏本站
查看: 1000|回复: 0

[经验分享] Hadoop概念及其用法专家讲解

[复制链接]

尚未签到

发表于 2016-12-8 11:20:13 | 显示全部楼层 |阅读模式
  原文 http://developer.iyunv.com/art/201006/203789.htm
  本节和大家继续学习Hadoop,Hadoop是一个分布式系统基础架构,由Apache基金会开发。它有什么奥秘呢,就让我们一起来继续关注Hadoop吧。
  条款6:多个大输入的Job建议使用串行执行,多个小输入的Job建议使用并行执行。
  Hadoop的任务处理分为map阶段以及reduce阶段,当集群的taskslots足够支持多个任务同时执行时,建议使用多任务并行执行,反之,建议使用串行执行,且当一个Job开始执行reducetask
  时,可以开始执行下一个Job的maptask。
  以下是我们在50台退役机器上分别并行和串行运行2个100G,200G,300G的任务的测试结果:
DSC0000.png
  条款7:reducer的个数应该略小于集群中全部reduceslot的个数。
  maptask的个数由输入文件大小决定,所以选择合适的reducer的个数对充分利用Hadoop集群的性能有重要的意义。
  Hadoop中每个task均对应于tasktracker中的一个slot,系统中mapperslots总数与reducerslots总数的计算公式如下:
  mapperslots总数=集群节点数×mapred.tasktracker.map.tasks.maximum
  reducerslots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum
  设置reducer的个数比集群中全部的reducerslot略少可以使得全部的reducetask可以同时进行,而且可以容忍一些reducetask失败。
  条款8:多个简单串行的Job优于一个复杂的Job。将复杂的任务分割成多个简单的任务,这是典型的分治的思想。这样不仅可以使得程序变得更简单,职责更单一,而且多个串行的任务还可以
  在上一个任务的正在执行reduce任务的时候,利用空闲的map资源来执行下一个任务。
  4.Key-Value权衡
Map-Reduce算法的核心过程如下:
  map(k1,v1)-->list(k2,v2)
  reduce(k2,list(v2))-->list(v2)
  即通过用户定义的map函数将输入转换为一组<Key,Value>对,而后通过用户定义的reduce函数将<Key,List<Value>>计算出最后的结果。
  如何选择合适的map和reduce函数才能充分利用Hadoop平台的计算能力呢?换句话说,如何选择上式中合适的K2和V2呢?
  条款9:maptask或reducetask的大小应该适中,以一个task运行2-3分钟为宜,且task不能超出计算节点的运算能力。
  虽然Hadoop平台帮助我们将数据分割成为小任务来执行,但我们也应当意识到,每个task都是在一个计算节点运行的,若一个task对机器资源(CPU、内存、磁盘空间等)的需求超出了计算
  节点的能力的话,任务将会失败。而如果task过小的话,虽然计算节点能够快速的完成task的执行,但过多的task的管理开销,以及中间结果频繁的网络传输将占据任务执行的绝大部分时间,
  这样同样会严重影响性能。建议的task大小最好是以能够运行2-3分钟为宜。
  条款10:map产生的中间结果不宜过大。
  输入数据经过用户定义的map函数后生成的<Key,Value>对是Map-Reduce模型的中间计算结果。
  Maptask将计算的中间结果保存在本地磁盘,而后通过Reducetask拉去所有当前任务所需的中间结果,并将中间结果按Key排序。显然若map产生的中间结果过大,网络传输时间以及中间结
  果排序将占据大部分的Job执行时间。本节关于Hadoop的介绍到此结束。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-311464-1-1.html 上篇帖子: 大数据框架hadoop的文件系统(HDFS)命令大全 下篇帖子: 使用java api操作Hadoop文件
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表