---
title: 相关概念
description: "Apache Hadoop Yarn （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了显著优势。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_20_0003.html
sourcePath: /source/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_20_0003.html
indexId: c678a91c7817253c9d9d8cbec67332b426d0533c5a087c4217030fb54d61ee2769
---
# 相关概念

#### Yarn

Apache Hadoop Yarn （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了显著优势。


#### Spark

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP Lab （加州大学伯克利分校的AMP实验室）所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同点在于，Spark可以将Job中间输出结果保存在内存中，而MapReduce需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。


#### PySpark

PySpark是Spark为Python开发者提供的API。


#### Container

Container是Yarn框架的计算单元，是具体执行应用task（如map task、reduce task）的基本单位。