Yarn-client模式下
在Yarn-client模式下提交Spark任务,验证Spark集群是否部署成功。
- 将Spark任务提交到Yarn,并进入spark-shell模式。
1spark-shell --master yarn --deploy-mode client

- 打开浏览器,输入http://server1:8088进入Yarn的Web UI。在任务列表中,找到刚才提交的任务。
server1应修改为NameNode所在节点的IP地址。
- 单击Tracking列下具体任务的Application按钮,进入如图1所示任务详情界面。
- 单击ApplicationMaster,进入Spark任务详情界面。
若无法跳转,可以手动将网址上的server1修改为实际IP地址。
能成功进入如图2所示Spark任务界面则表示任务提交成功。
父主题: 运行和验证Spark集群

