KAE硬件卸载

在HDFS中使能压缩特性后,虽然减少了网络和磁盘数据量,但增加的计算消耗在部分场景可能导致端到端带宽反而下降,因此通过KAE硬件卸减少CPU消耗,进一步提升带宽。

  1. 完成KAE安装部署具体可参考源码安装
  2. 在HDFS中使能KAE。

    在agent1 ~ agent9执行以下命令。
    1
    cp /usr/local/kaezip/lib/lib* /usr/local/hadoop/lib/native
    

  3. (可选)在HDFS中关闭KAE。

    在agent1 ~ agent9上执行以下命令。
    1
    2
    rm -rf /usr/local/hadoop/lib/native/libkaezip.*
    rm -rf /usr/local/hadoop/lib/native/libz.*
    

    该步骤用于在使能KAE后关闭KAE特性,如需要在HDFS中使能KAE无需执行该步骤。

  4. 重启HDFS。

    在server1节点执行以下命令。
    1
    2
    3
    /usr/local/hadoop/sbin/stop-all.sh
    /usr/local/hadoop/sbin/start-all.sh
    hdfs dfsadmin -safemode leave