hadoop学习3——DistributedCache加载本地库

zyk198500

　　本地库位置：hadoop发行版的lib/native目录下
支持的平台
　　Hadoop本地库只支持*nix平台，已经广泛使用在GNU/Linux平台上，但是不支持 Cygwin 和 Mac OS X。
　　已经测试过的GNU/Linux发行版本：

• RHEL4/Fedora
  
• Ubuntu
  
• Gentoo
  

　　在上述平台上，32/64位Hadoop本地库分别能和32/64位的jvm一起正常运行。
使用DistributedCache 加载本地库
用户可以通过 DistributedCache 加载本地共享库，并分发和建立库文件的符号链接。
这个例子描述了如何分发库文件并在从map/reduce任务中装载库文件。

• 首先拷贝库文件到HDFS。
  bin/hadoop fs -copyFromLocal mylib.so.1 /libraries/mylib.so.1
  
• 启动作业时包含以下代码：
  DistributedCache.createSymlink(conf);
  DistributedCache.addCacheFile("hdfs://host:port/libraries/mylib.so.1#mylib.so", conf);
  
• map/reduce任务中包含以下代码：
  System.loadLibrary("mylib.so");
  

　　这些都是开发文档上的片段，具体还没亲自测试，先记一下，以备后续深入学习