鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

执行任务并查看结果

在客户端下载并解压样例工程-开发程序中样例代码中对应的数据集到“/tmp/data/epsilon”目录,并执行任务,具体步骤如下。

  1. 进入“/tmp/data”目录。
    1
    cd /tmp/data
    
  2. 获取公开数据集并上传数据集到HDFS上(eg. graph500-23.zip)。
    1
    hadoop fs -put /tmp/data/graph500-23.e  /tmp/graph_data
    
  3. 样例工程-开发程序中生成的kal_examples_2.11-0.1.jar和run_tc.sh放入客户端“/home/test/boostkit/”目录,并在目录下执行./run_tc.sh。如果遇到写文件的权限问题,建议使用hdfs用户执行命令。

    run_tc.sh内容如下。

     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    spark-submit \
    --class com.bigdata.examples.TCRunner \
    --driver-class-path "./lib/*" \
    --jars "./lib/boostkit-graph-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar" \
    --conf "spark.executor.extraClassPath=boostkit-graph-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar" \
    --master yarn \
    --deploy-mode client \
    --driver-cores 36 \
    --driver-memory 50g \
    --executor-cores 4 --num-executors 72 --executor-memory 12g \
    ./kal_examples_2.11-0.1.jar
    
  4. 执行任务。
    1
    sh run_tc.sh
    
    TriangleCounting is finished , and costTime = 82.14 's
  5. 查看结果。
    hdfs dfs -ls graph_data/graph500-23-result