cike0415 发表于 2016-12-6 10:24:07

2、hadoop子项目

  ##Pig---hadoop客户端
  Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。
  http://guoyunsky.iyunv.com/blog/1317084
  http://blackproof.iyunv.com/blog/1791980
  ##Hbase--apache顶级项目
  Hbase query language(HQL Not only sql)
  google3大论文之一bigtable的开源实现;适合高速读写数据场景。
  http://blog.csdn.net/viewcode/article/details/9967497
  http://www.csdn.net/article/2014-02-17/2818431-HDFS+MapReduce+Hbase
  ##Hive(蜂巢)--Hbase的数据仓库项目
  http://sishuok.com/forum/blogPost/list/6220.html
  http://zhangwei20086.blog.163.com/blog/static/230557182012619111956724/
  HiveQL支持大部分SQL
  ##zookeeper
  通信协调软件,google chubby的开元实现,确认消息是否到达,防止单点失效,处理负载均衡。
  http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html
  http://cailin.iyunv.com/blog/2014486
  sqoop
  实现hadoop与关系型数据库的交互
  avro(avro)
  数据序列化工具,用于大数据交互
  chukwa--数据收集与分析框架
  cassanda--facebook提供与hbase类似
页: [1]
查看完整版本: 2、hadoop子项目