ukula 发表于 2017-12-17 20:55:16

2大数据处理架构Hadoop

2.1概述
2.1.1Hadoop简介

[*]Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构
[*]Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中
[*]Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce
[*]Hadoop被公认为行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力
[*]几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务,如谷歌、雅虎、微软、思科、淘宝等,都支持Hadoop
2.1.2Hadoop发展简史


2.1.3Hadoop的特性

2.1.4Hadoop的应用现状






2.2Hadoop项目结构


2.3Hadoop的安装与使用
2.3.1Hadoop安装之前的预备知识
  安装参考: http://dblab.xmu.edu.cn/blog/285/




2.3.2安装Linux虚拟机



2.3.3安装双操作系统

2.3.4Hadoop的安装与使用
  参考:http://dblab.xmu.edu.cn/blog/install-hadoop/


[*]创建hadoop用户


[*]SSH登陆权限设置


[*]安装Java环境


[*]单机安装配置



[*]伪分布式安装配置





2.4Hadoop集群的部署与使用
2.4.1集群节点类型

2.4.2集群硬件配置

2.4.3集群规模

2.4.4集群网络拓扑

2.4.5集群的建立与安装

2.4.6集群基准测试

2.4.7在云计算环境中使用Hadoop
页: [1]
查看完整版本: 2大数据处理架构Hadoop