导出机器算法加速库的日志

设置运行日志保存到本地只能获取到本节点driver端的日志，并不是整个任务的日志，可以通过以下命令获取整个执行任务的日志。
1
yarn logs -applicationId
获取任务ID（以下两种方式二选一即可，推荐第二种）。
- 已启动historyserver时，可以通过以下命令查询任务列表获取任务ID。
  1
  yarn application -list
  historyserver启动方式可以参考官网：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
- 当执行任务过多，不方便识别哪个任务是我们需要的。这时可以通过设置运行日志保存到本地获取到的日志，使用以下命令获取任务ID。
  1
  cat /home/test/boostkit/spark_algorithm.log |grep "Submitting application"
导出任务日志到本地。
例如任务ID是application_XXX_XXX，可以通过以下命令导出整个任务的日志。
1
yarn logs -applicationId application_XXX_XXX > /home/test/boostkit/all.log
使用以下命令导出机器算法加速库的日志。
1
cat /home/test/boostkit/all.log |grep KunpengAlgorithmLibrary > ml.log
- 上述命令中“ml.log”就是最后导出的日志文件，日志文件名称可以根据实际情况修改，这里只是用“ml.log”举例。
- 机器学习算法加速库的日志与Spark原生算法的日志融合在一起，当出现问题时，需要与原生算法的日志一起定位分析。

父主题： 日志管理