sunren 发表于 2018-10-29 10:19:00

hadoop的三大核心组件功能

  hadoop的三大组件功能:
  Common :
  工具,基础,为服务
  MapReduce:
  对海量数据的处理
  分布式
  思想
  分而治之
  大数据集分为小的数据集
  每个数据集,尽心逻辑业务处理map
  合并统计数据结果reduce
  HDFS:
  存储海量数据
  分布式
  安全性
  副本数据
  数据是以block的方式进行存储的
  NameNode
  内存
  本地磁盘
  fsimage:镜像文件
  edites:编辑日志
  YARN:
  分布式资源管理框架
  管理整个集群的资源(内存,cpu核数)
  分配调度集群的资源

页: [1]
查看完整版本: hadoop的三大核心组件功能