xiaui520 发表于 2018-10-29 07:01:21

运行Hadoop自带的wordcount单词统计程序

# hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /data/wordcount /output/wordcount  
...
  
17/09/01 20:48:14 INFO mapreduce.Job: Job job_local1719603087_0001 completed successfully
  
17/09/01 20:48:14 INFO mapreduce.Job: Counters: 38
  
      File System Counters
  
                FILE: Number of bytes read=585940
  
                FILE: Number of bytes written=1099502
  
                FILE: Number of read operations=0
  
                FILE: Number of large read operations=0
  
                FILE: Number of write operations=0
  
                HDFS: Number of bytes read=114
  
                HDFS: Number of bytes written=48
  
                HDFS: Number of read operations=15
  
                HDFS: Number of large read operations=0
  
                HDFS: Number of write operations=4
  
      Map-Reduce Framework
  
                Map input records=5
  
                Map output records=10
  
                Map output bytes=97
  
                Map output materialized bytes=78
  
                Input split bytes=112
  
                Combine input records=10
  
                Combine output records=6
  
                Reduce input groups=6
  
                Reduce shuffle bytes=78
  
                Reduce input records=6
  
                Reduce output records=6
  
                Spilled Records=12
  
                Shuffled Maps =1
  
                Failed Shuffles=0
  
                Merged Map outputs=1
  
                GC time elapsed (ms)=92
  
                CPU time spent (ms)=0
  
                Physical memory (bytes) snapshot=0
  
                Virtual memory (bytes) snapshot=0
  
                Total committed heap usage (bytes)=241049600
  
      Shuffle Errors
  
                BAD_ID=0
  
                CONNECTION=0
  
                IO_ERROR=0
  
                WRONG_LENGTH=0
  
                WRONG_MAP=0
  
                WRONG_REDUCE=0
  
      File Input Format Counters
  
                Bytes Read=57
  
      File Output Format Counters
  
                Bytes Written=48


页: [1]
查看完整版本: 运行Hadoop自带的wordcount单词统计程序