前置条件
部署OmniData算子下推前,集群需已安装如下软件。
使用OmniData算子下推的引擎 |
集群必备组件 |
---|---|
Spark |
OS、JDK、ZooKeeper、Hadoop、Spark、Hive、Ceph(Ceph/HDFS二选一即可) |

- 使用SmartKit批量安装的一个重要前置条件是所有的节点的密码必须一样。
- 用户根据使用场景要求,选择部署相应的集群模式。若存储部署模式为HDFS,则建议使用安全模式(Kerberos)。
- OmniData算子下推作为一个应用服务,将使用HAF进行部署和管理。
- 若使用Ceph集群,部署完成后,需要在Ceph配置文件“/etc/ceph/ceph.conf”中的[global]域中增加rgw_nfs_lru_lane_hiwat配置项,并设置其值为65535。详情请参见TPCDS SQL3异常报错问题。
父主题: 环境要求