mac hadoop 2.6编译native library
本文中的所有路径请根据个人情况修改。
编译好的native library见个人资源：http://download.csdn.net/detail/tterminator/956559
一、为什么要编译native librarymac
安装Hadoop后启动报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。
二、问题原因
在官网上有说明：The native hadoop library is supported on *nix platforms only. The library does not to work with Cygwin or the Mac OS X platform.
详见官网：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/NativeLibraries.html
三、编译环境说明
1. mac os x：10.10.4
2. jdk:java version "1.7.0_80"
3. hadoop:2.6.0-src
四、编译前期准备
编译开始前需要在mac下安装以下软件：
1.安装brew
类似Ubuntu中的apt软件包管理工具，用于安装缺少的软件包，这里用于安装cmake工具：brew install cmake。
2.安装cmake
没有版本要求。
3.安装protoc
版本必须是2.5.0，否则编译失败，不能用brew install protobuf的方式安装，因为该方式安装的版本不一定是2.5.0。
protocbuf 2.5.0的源码详见个人资源：http://download.csdn.net/detail/tterminator/9562400】。
protocbuf源码需要自己手动编译，比较简单，网上搜索一下即可。
4.安装maven
本人使用的版本：Apache Maven 3.3.3。
五、最后准备
在编译过程中会出现以下报错：
Exception in thread "main" java.lang.AssertionError: Missing tools.jar at: /Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home/Classes/classes.jar. Expression: file.exists
解决办法：
在JAVA_HOME，也即/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home路径下新建目录Class，并执行创建软符号链接命令(推荐使用绝对路径)：sudo ln -s $JAVA_HOME/lib/tools.jar $JAVA_HOME/Classes/classes.jar
六、开始编译
1. 进入下载的2.6.0源码根目录下，执行以下命令：
mvn package -Pdist,native -DskipTests -Dtar
2. 等待之后会出现以下编译结果，这里只列出部分内容：
[INFO] Reactor Summary:
[INFO] Apache Hadoop Main ................................. SUCCESS [ 1.206 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [06:57 min]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [03:22 min]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [ 0.272 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [02:02 min]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [02:46 min]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [19:36 min]
[INFO] Apache Hadoop Auth ................................. SUCCESS [07:47 min]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [01:21 min]
[INFO] Apache Hadoop Common ............................... SUCCESS [12:20 min]
最终会出现如下提示，说明编译成功：
[INFO] -------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] -------------------------------------------------
[INFO] Total time: 01:28 h
[INFO] Finished at: 2016-06-28T01:40:35+08:00
[INFO] Final Memory: 193M/874M
[INFO] -------------------------------------------------
七、将编译出的native library复制到下载的二进制版本的Hadoop 2.6.0相应目录中
1. 编译出的native library库的位置为hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0/lib/native
2. 拷贝到二进制版本的Hadoop 2.6.0的目录hadoop-2.6.0/lib/native
八、修改/etc/hadoop/hadoop-env.sh配置
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/hadoop-2.6.0/lib/native"
九、重新启动Hadoop此时就不会出现本文开头处的那个警告了。
