eclipse安装Hadoop 1.2.1 插件
下载插件hadoop-eclipse-plugin-1.2.1.jar(需自行编译,见附件)放到eclipse/plugins目录下[ /usr/lib64/eclipse/plugins ]
重启eclipse
选择"Window"菜单下的"Preference"，在窗体的左侧菜单栏 里面会多出"Hadoop Map/Reduce"选项，点击此选项，选择Hadoop的安装目录（如我的Hadoop目录：E:\HadoopWorkPlat\hadoop-1.2.1）。
在eclipse的右上角出现蓝色大象logo，点击。之后，在正下方的区域将会多出一项Map/Reduce Locations的选项卡，点击该选项卡，右键新建New Hadoop Location。
设置如下
参数名
配置参数
说明
Location name
hadoop
当前链接的名字，可任意指定
MapReduce Master
Host: 192.168.3.80
NameNode的IP地址，不能写主机名
MapReduce Master
Port: 9001
MapReduce Port，参考配置的mapred-site.xml
DFS Master
Port: 9000
DFS Port，参考配置的core-site.xml
User name
grid
Hadoop用户
之后，切换到Advanced parameters，需要修改以下参数
参数名
配置参数
说明
fs.default.name
hdfs://192.168.3.80:9000/
参考core-site.xml
hadoop.tmp.dir
/home/grid/hadoop/tmp
参考core-site.xml
mapred.job.tracker
192.168.3.80:9001
参考mapred-site.xml
之后确认，这样便在eclipse左边出现了HDFS的文件结构。但是现在你只能查看，而不能添加修改文件。因此你还需要手工登录到HDFS上，并使用命令修改权限。
./bin/hadoop fs -chmod -R 777 /
如果是在Windows电脑上使用eclipse远程登录集群，且windows用户与Hadoop用户不一致时则需要在conf/hdfs-site.xm中添加以下配置，并重启Hadoop集群：
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
运行程序WordCount.java 在\src\examples\org\apache\hadoop\examples目录下
package org.apache.hadoop.examples;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) {
Configuration conf = new Configuration();
String[] otherArgs;
try {
otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs));
FileOutputFormat.setOutputPath(job, new Path(otherArgs));
System.exit(job.waitForCompletion(true) ? 0 : 1);
} catch (IOException e) {
e.printStackTrace();
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
右键run configurations里添加以下两个参数，注意先将文本words里面包含单词Hello word Hello Hadoop
上传到Data目录下 bin/hadoop fs -put /home/grid/Date Data
执行，右键Run As -> Run on Hadoop
错误总结：
Invalid byte 1 of 1-byte UTF-8 sequence
1、查看conf/ 目录下的配置文件是否有中文字符
2、在配置“Hadoop Map/Reduce”选项时，是否路径中含有中文字符
运行程序时有以下异常
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。
解决方法是，修改hadoop-1.2.1/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可。
// if (!rv) {
// throw new IOException("Failed to set permissions of path: " + p +
// " to " +
// String.format("%04o", permission.toShort()));
// }
重新编译打包hadoop-core-1.2.1.jar，替换掉hadoop-1.2.1根目录下的jar即可。已编译jar包参看附件。
页:
[1]