---
title: TestDFSIO测试工具调优
description: "HDFS冷存储场景性能已经达到磁盘带宽上限，因此通过压缩特性以进一步提升带宽。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengsdss/ecosystemEnable/HDFS/kunpenghfds_01_0018.html
sourcePath: /source/zh/kunpengsdss/ecosystemEnable/HDFS/kunpenghfds_01_0018.html
indexId: 4558e7cd9bdf774f5c6471efc8c0053211a16060000ddb7b33563c4703c268c868
---
# TestDFSIO测试工具调优

HDFS冷存储场景性能已经达到磁盘带宽上限，因此通过压缩特性以进一步提升带宽。

#### 目的

调整Hadoop自带的TestDFSIO工具生成测试文件的逻辑，TestDFSIO会在DataNode本地生成指定大小的规律的测试文件，这种按照特定规律生成的文件拥有很大的压缩率，会影响压缩测试的结果。需要对其进行修改，以达成下方目的。

- 生成测试文件的逻辑从按照特定规律生成改为以指定文件作为模板生成。
- 根据需求可以选择不同的模板文件灵活调整测试文件的压缩比。


#### 调优步骤

1. 打开文件Hadoop源码。
  1 cd ..\hadoop-3.1.0-src\

2. 获取patch补丁，下载链接(https://gitcode.com/boostkit/hadoop/blob/master/hdfs-3.1.0-testdfsio.patch)。
3. 通过传输工具将下载的patch补丁上传到“../hadoop-3.1.0-src/”目录下。
4. 合入补丁。
  1 patch -p1 < hdfs-testdfsio-0001.patch

5. 编译Hadoop源码并部署（具体的Hadoop编译及部署操作请参考：编译Hadoop(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hadoop/kunpenghadoop_02_0011.html)、部署Hadoop(https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Hadoop/kunpenghadoop_04_0001.html)）。
6. 在hadoop运行目录下创建testFiles文件夹用于存放测试文件。
  1 mkdir -p ../hadoop/testFiles

7. 将测试文件拷贝到testFiles文件夹下，创建软链接（以target_file为例）。
  1 2 3 mv target_file ../hadoop/testFiles cd ../hadoop/testFiles ln -s target_file test_io_file

8. 在所有服务器重复步骤5~步骤7。
9. 重启hadoop集群。
  1 2 3 /usr/local/hadoop/sbin/stop-all.sh /usr/local/hadoop/sbin/start-all.sh hdfs dfsadmin -safemode leave