nutch使用
来自：http://yangshangchuan.iyunv.com/blog/18404811、三台机器
host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)
host6(DataNode、TaskTracker)
host8(DataNode、TaskTracker)
vi/etc/hostname（分别给每一台主机指定主机名）
vi/etc/hosts（分别给每一台主机指定主机名到IP地址的映射）
2、新建用户和组
三台机器上面都要新建用户和组
addgroup hadoop
adduser --ingroup hadoop hadoop
更改临时目录权限
chmod 777 /tmp
注销root以hadoop用户登录
3、配置SSH
在host2上面执行
ssh-keygen-trsa（密码为空，路径默认）
该命令会在用户主目录下创建 .ssh 目录，并在其中创建两个文件：id_rsa 私钥文件，是基于 RSA 算法创建，该私钥文件要妥善保管，不要泄漏。id_rsa.pub 公钥文件，和 id_rsa 文件是一对儿，该文件作为公钥文件，可以公开
cp.ssh/id_rsa.pub.ssh/authorized_keys
把公钥追加到其他主机的authorized_keys 文件中
ssh-copy-id-i.ssh/id_rsa.pubhadoop@host6
ssh-copy-id-i.ssh/id_rsa.pubhadoop@host8
可以在host2上面通过ssh无密码登陆host6和host8
ssh host2
ssh host6
ssh host8
4、准备HADOOP运行环境
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
在/home/hadoop/.bashrc 中追加：
exportPATH=/home/hadoop/hadoop-1.1.2/bin:$PATH
重新登录就生效
sshlocalhost
whichhadoop
5、配置HADOOP运行参数
vi conf/masters
把localhost替换为：host2
vi conf/slaves
删除localhost，加入两行:
host2
host6
host8
vi conf/core-site.xml
Xml代码收藏代码
<property>
<name>fs.default.name</name>
<value>hdfs://host2:9000</value>
</property>
vi conf/hdfs-site.xml
Xml代码收藏代码
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
vi conf/mapred-site.xml
Xml代码收藏代码
<property>
<name>mapred.job.tracker</name>
<value>host2:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/mapreduce/local</value>
</property>
6、复制HADOOP文件到其他节点
scp -r /home/hadoop/hadoop-1.1.2hadoop@host6:/home/hadoop/hadoop-1.1.2
scp -r /home/hadoop/hadoop-1.1.2hadoop@host8:/home/hadoop/hadoop-1.1.2
7、格式化名称节点并启动集群
hadoop namenode -format
8、启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等
9、停止集群
stop-all.sh停止集群
http://yangshangchuan.iyunv.com/blog/1837935
页:
[1]