鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

Yarn-client模式下

在Yarn-client模式下提交Spark任务,验证Spark集群是否部署成功。

  1. 将Spark任务提交到Yarn,并进入spark-shell模式。
    1
    spark-shell --master yarn --deploy-mode client
    

  2. 打开浏览器,输入http://server1:8088进入Yarn的Web UI。在任务列表中,找到刚才提交的任务。

    server1应修改为NameNode所在节点的IP地址。

  3. 单击Tracking列下具体任务的Application按钮,进入如图1所示任务详情界面。
    图1 任务详情界面
  4. 单击ApplicationMaster,进入Spark任务详情界面。

    若无法跳转,可以手动将网址上的server1修改为实际IP地址。

    能成功进入如图2所示Spark任务界面则表示任务提交成功。

    图2 Spark任务界面