jiaxp 发表于 2016-12-10 07:25:11

hadoop学习笔记（6）-别拿Hadoop map key当id使

　　在写mapreduce时，发现一个问题：
　　hadoop的map函数的key一般是输入文件的行号，于是乎就希望把这个当作一个unique id来用，但是确出了很严重的问题，在分布式集群中，不同map任务中可能会有很多相同的行号，千万不能把这个key当作id.
页: [1]
查看完整版本: hadoop学习笔记（6）-别拿Hadoop map key当id使