安全检查与加固
通过安全检查与加固提高系统或网络的安全性和稳定性,防止黑客攻击、数据泄露、系统崩溃等问题的发生。同时,也可以满足法规和合规要求,保护用户隐私和信息安全。
防病毒软件例行检查
定期开展对集群和Spark组件的防病毒扫描,防病毒例行检查会帮助集群免受病毒、恶意代码、间谍软件以及恶意程序,降低系统瘫痪、信息泄露等风险。建议使用业界主流防病毒软件进行防病毒检查。
漏洞修复
为保证生产环境的安全,降低被攻击的风险,请开启防火墙,并定期修复以下漏洞。
- 操作系统漏洞
- JDK漏洞
- Hadoop及Spark漏洞
- ZooKeeper漏洞
- Kerberos漏洞
- OpenSSL漏洞
- 其他相关组件漏洞
漏洞描述:
Netty 4.1.17版本存在两个Content-Length的http header可能会发生混淆的风险通告,漏洞编号:CVE-2021-37137。
本系统使用hdfs-ceph(version 3.2.0)服务作为存算分离的存储对象,它因依赖aws-java-sdk-bundle-1.11.375.jar而涉及该漏洞。建议用户及时更新漏洞补丁进行防护,以免遭受黑客攻击。
影响范围:
Netty 4.1.68及以前版本。
修复建议:
SSH加固
在部署安装过程中,需要通过SSH连接服务器。由于root用户拥有最高权限,直接使用root用户登录服务器可能会存在安全风险。建议您使用普通用户登录服务器进行安装部署,并建议您通过配置禁止root用户SSH登录的选项,来提升系统安全性。操作步骤:
用户登录系统后检查“/etc/ssh/sshd_config”配置项“PermitRootLogin”。
- 如果显示no,说明禁止了root用户SSH登录。
- 如果显示yes,说明需要修改PermitRootLogin为no。
信息泄露风险提醒
ock.conf文件中的三个安全配置(ock.ucache.rpc.enableAuthentication,ock.ucache.rpc.enableTLS,ock.ucache.rpc.enableAuthorization)和Zookeeper的安全配置开关支持关闭,但关闭认证和传输加密可能会引入仿冒、信息泄露等风险,用户需谨慎操作。
地址随机化及内核地址栈编译开关
为保证程序运行阶段内存地址保护,建议用户在编译选项中开启地址随机化randomize_va_space(如:echo 2 >/proc/sys/kernel/randomize_va_space)和内核地址栈保护配置,包括但不限于KASLR,PAX,SMAP/SMEP。
密钥更新
密钥更新需要重启OmniShuffle Shuffle加速服务,请合理规划密钥更新周期。
使用kmc_tool工具定期进行密钥更新。
导入吊销列表
用户可以在生成吊销列表文件后,通过在配置文件中指定该文件的路径来完成配置。配置完成后,重启OCKD进程以使吊销列表生效。

配置限制集群外IP地址访问
为了避免集群外DoS攻击,建议用户在集群防火墙中配置以限制集群外IP地址访问方式。
常见的大数据集群环境中通常配置多块网卡,包括业务网(用于数据传输,带宽较大)和管理网(用于集群管理,带宽相对较小)。建议将OmniShuffle Shuffle加速的监测端口都绑定为业务网络,并通过防火墙配置各节点业务网络为仅接收集群组网的网段报文,以抵御来自集群外部的DoS攻击。
本文以主节点(master)+计算节点(slave01,slave02,slave03)的经典组网为例:每个节点均有两个网卡(假设为网卡A和网卡B),网卡A为10GE,管理网段为90.90.1.*,网卡B为100GE,业务网段为192.168.1.*。那么可通过以下配置策略消减来自业务集群外的DoS攻击风险。
配置Kerberos身份认证票据
由于OmniShuffle Shuffle加速业务以及ZooKeeper认证均通过Kerberos完成,为了消减Kerberos认证可能存在的重放攻击导致仿冒,建议将身份认证票据有效期设置为最短时间。