查看: 662|回复: 0

[经验分享] hadoop project 学习总结

尚未签到

发表于 2016-12-7 07:59:28 | 显示全部楼层 |阅读模式

　　hadoop 项目源自于google的几篇论文
　　http://labs.google.com/papers/gfs.html
http://labs.google.com/papers/mapreduce.html
http://labs.google.com/papers/bigtable.html
http://labs.google.com/papers/chubby.html
http://labs.google.com/papers/sawzall.html

HDFS	GFS
Map/Reduce
Hbase	Bigtable
ZooKeeper	Chubby
Pig	Sawzall

　　

hdfs提供一个分布式存储，类似于磁盘阵列。基于一个假设：文件读取操作多，很少改，读文件时总是对一个文件整个顺序读取。

把文件切分成64M的块儿，分开存储，大文件有利于提高磁盘寻道的效率，一次查找大段的读取
最好的情况下每块儿都在不同的机器上，分散I/O
另外每块儿可以在多台机器上存多个副本，提高可靠性，单台机器坏掉依然可以从其他机器找到完整的文件

　　
map/reduce在hdfs之上提供一个分布式的计算环境。这个概念来自于函数式编程。其实限制是很大的

要求计算任务能够被拆分成互不相干的、相同的小任务
面向行数据的处理，要求输入数据格式统一
必须把文件先上传到hdfs

　　幸运的是合乎要求1的情况也挺多的，很多时候可以把一些看上去不太符合要求的任务转个弯拧过来；在有使用hadoop意愿的前提下，预先做些工作，要求2也比较容易实现；第三条严重制约与网络带宽

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.iyunv.com/thread-310652-1-1.html 上篇帖子： mvn+eclipse构建hadoop项目并运行(超简单hadoop开发入门指南) 下篇帖子： hadoop中的Partitioner分区

使用道具举报