在HDFS中使能压缩特性后,虽然减少了网络和磁盘数据量,但增加的计算消耗在部分场景可能导致端到端带宽反而下降,因此通过KAE硬件卸减少CPU消耗,进一步提升带宽。
1 | cp /usr/local/kaezip/lib/lib* /usr/local/hadoop/lib/native |
1 2 | rm -rf /usr/local/hadoop/lib/native/libkaezip.* rm -rf /usr/local/hadoop/lib/native/libz.* |
该步骤用于在使能KAE后关闭KAE特性,如需要在HDFS中使能KAE无需执行该步骤。
1 2 3 | /usr/local/hadoop/sbin/stop-all.sh /usr/local/hadoop/sbin/start-all.sh hdfs dfsadmin -safemode leave |