客户端配置

spark.shuffle.compress

True

设置Shuffle过程中对Shuffle数据进行压缩，以此来减少网络IO。

spark.rdd.compress

True

减小RDD过程中Cache数据的尺寸。

spark.io.compression.codec

Snappy

RDD、Shuffle输出等内部数据的编码解码器，Snappy在速度上较快且内存/CPU占用小。

spark.shuffle.spill.compress

True

中间结果在spill到本地硬盘时都会进行压缩，节省耗时。

spark.locality.wait

10s

数据本地化，减少网络传输。