TestDFSIO测试工具调优

HDFS冷存场景性能已经达到磁盘带宽上限，因此通过压缩特性以进一步提升带宽。

目的

调整Hadoop自带的TestDFSIO工具生成测试文件的逻辑，TestDFSIO会在DataNode本地生成指定大小的规律的测试文件，这种按照特定规律生成的文件拥有很大的压缩率，会影响压缩测试的结果。需要对其进行修改，以达成下方目的。

调优步骤

  1. 打开文件Hadoop源码。

    1
    cd ..\hadoop-3.1.0-src\

  2. 获取patch补丁，下载链接。
  3. 通过传输工具将下载的patch补丁上传到“../hadoop-3.1.0-src/”目录下。
  4. 合入补丁。

    1
    patch -p1 < hdfs-testdfsio-0001.patch

  5. 编译Hadoop源码并部署（具体的Hadoop编译及部署操作请参考：编译Hadoop、部署Hadoop）。
  6. 在hadoop运行目录下创建testFiles文件夹用于存放测试文件。

    1
    mkdir -p ../hadoop/testFiles

  7. 将测试文件拷贝到testFiles文件夹下，创建软链接（以target_file为例）。

    1
2
3
    mv target_file ../hadoop/testFiles
cd ../hadoop/testFiles
ln -s target_file test_io_file

  8. 在所有服务器重复步骤5~步骤7。
  9. 重启hadoop集群。

    1
2
3
    /usr/local/hadoop/sbin/stop-all.sh
/usr/local/hadoop/sbin/start-all.sh
hdfs dfsadmin -safemode leave

父主题： 压缩特性