安全加固

算法执行过程中，使用Spark提供的标准RDD缓存操作（persist），在内存空间不足的情况下时，RDD缓存数据将作为临时文件写入到磁盘。默认情况下，下盘的RDD缓存数据未进行加密处理，用户如果希望有更高的安全等级要求，建议将Spark参数“spark.io.encryption.enabled”设置为“true”，可以实现对下盘的RDD缓存数据实现加密的功能，需要指出的是，使能加密功能后会增加算法的计算时间。此外，Spark 2.3.3之前的版本，即使设置“spark.io.encryption.enabled”参数依然有几率出现下盘数据未加密问题，建议升级Spark版本到高版本。

建议解决方式：

• 修改提交任务的shell脚本，在spark-submit添加如下配置。

  1	--conf "spark.io.encryption.enabled=true" \

• 升级Spark版本到高版本。

为保证生产环境的安全，降低被攻击的风险，请开启防火墙，并定期修复以下漏洞。

• 操作系统漏洞
• JDK漏洞
• Hadoop及Spark漏洞
• Scala漏洞