11、hadoop--数据收集原理
常见的两种数据来源分散的数据源：
机器产生的数据；
用户访问日志;
用户购买日志;
传统系统中的数据：
传统关系型数据库:MySQL、 Oracle等;
磁盘阵列;
磁带.
常见的Hadoop收集与入库系统：
数据收集
Flume
Kafka
Scribe
传统数据库与Hadoop同步
Sqoop
file-->hadoop
rdbs<-->hadoop(hbase/hive)利用MapReduce
页:
[1]