测试指导

此处以4000个150MB文件写为例,在server1节点执行以下命令进行测试。

1
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.0-tests.jar TestDFSIO -write -nrFiles 4000 -size 150MB -erasureCodePolicy RS-6-3-1024k
  • -write:表示为写测试。
  • -nrFiles 4000:表示4000个文件。
  • -size 150MB:表示每个文件150MB。
  • -erasureCodePolicy RS-6-3-1024k :表示使用RS-6-3-1024k EC策略。

测试结果示例如下:

  • Date & time :测试结束时间。
  • Number of files:测试文件数量。
  • Total MBytes processed:测试数据总量,单位MB。
  • Throughput mb/sec:吞吐量,以MB/s为单位,计算方法是:(测试数据总量)/(每个map任务实际写入数据的执行时间之和)。
  • Average IO rate mb/sec:平均IO速率,单位MB/s,计算方法是:(每个map需要写入的数据量/每个map任务实际写入数据的执行时间)之和/任务数。
  • IO rate std deviation:IO速率标准差。
  • Test exec time sec:测试执行耗时,单位秒。

需要重点关注Test exec time sec指标,可以通过测试执行时间和测试总数量来计算整个测试任务的吞吐量,计算方法是:(测试数据总量)/ (测试执行耗时)。