---
title: 配置OmniData算子下推
description: "OmniData算子下推服务启动时需要读取HDFS/Ceph的配置文件，用户需要上传配置文件hdfs-site.xml和core-site.xml（可在ceph1/hdfs1、ceph2/hdfs2、ceph3/hdfs3节点上进行搜索，在Hadoop安装目录下的“etc/hadoop/”中）到OmniData算子下推的“etc”目录下面。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2200/bds/kunpengomnidata_20_0034.html
sourcePath: /source/zh/kunpengboostkithistory/2200/bds/kunpengomnidata_20_0034.html
indexId: 08399f834aa12b072605abb057e00516af1fc10b56ea962be69bac537ce8bd5871
---
# 配置OmniData算子下推

#### 场景一：访问Ceph/HDFS的配置（必须项）

OmniData算子下推服务启动时需要读取HDFS/Ceph的配置文件，用户需要上传配置文件hdfs-site.xml和core-site.xml（可在ceph1/hdfs1、ceph2/hdfs2、ceph3/hdfs3节点上进行搜索，在Hadoop安装目录下的“etc/hadoop/”中）到OmniData算子下推的“etc”目录下面。

如下图所示，可以添加文件传输的操作，以Ceph为例，下图把本地路径的hdfs-site.xml传输至选中服务器（ceph1、ceph2、ceph3节点）的“/home/omm/omnidata-install/omnidata/etc/”路径下。


core-site.xml的上传方式同上。

若访问Ceph，卸载节点（ceph1~ceph3）则需要准备多个依赖包：

1. hdfs-ceph-3.2.0.jar和librgw_jni.so已经通过SmartKit上传到服务器，且确保会被HAF程序加载。
2. 将任意引擎节点（agent1~agent3）上的密钥文件keyring拷贝到ceph1~ceph3上对应的相同目录下（默认路径：“/var/lib/ceph/radosgw/ceph-admin/keyring”）。
3. 在ceph1~ceph3上注意keyring的权限：chmod -R 755 /var/lib/ceph;chmod 644 keyring。


#### 场景二：Kerberos配置（当集群中HDFS和ZooKeeper为安全模式时）

在卸载节点上进行配置

在所有OmniData算子下推服务所在节点上添加如下配置到“/home/omm/omnidata-install/omnidata/etc/config.properties”中。同时将相关配置文件（krb5.conf、hdfs.keytab、client_jass.conf等）拷贝到etc目录下。

1. 配置KERBEROS，并拷贝相关配置文件到指定目录下。

  a. 进入config.properties配置文件目录，编辑config.properties配置文件。

```
cd /home/omm/omnidata-install/omnidata/etc
vi config.properties
```


  b. 按“i”进入编辑模式，将以下内容添加到文件中。

```
hdfs.authentication.type=KERBEROS
hdfs.krb5.conf.path=
/home/omm/omnidata-install/omnidata/etc/krb5.conf
hdfs.krb5.keytab.path=
/home/omm/omnidata-install/omnidata/etc/hdfs.keytab
hdfs.krb5.principal=
hdfs/server1@EXAMPLE.COM
```


  c. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
  d. 拷贝相关配置文件至指定目录。

```
cp xxx/
krb5.conf
/home/omm/omnidata-install/omnidata/etc/
cp xxx/
hdfs.keytab
/home/omm/omnidata-install/omnidata/etc/
```


2. 如果引擎为Spark，则需要配置安全的ZooKeeper连接。

```
zookeeper.krb5.enabled=true
zookeeper.java.security.auth.login.config=
/home/omm/omnidata-install/omnidata/etc/client_jaas.conf
zookeeper.krb5.conf=
/home/omm/omnidata-install/omnidata/etc/krb5.conf
```

```
cp xxx/
client_jaas.conf
/home/omm/omnidata-install/omnidata/etc/
cp xxx/
krb5.conf
/home/omm/omnidata-install/omnidata/etc/
```


3. 配置文件目录授权（omm为当前HAF安装用户，请根据实际情况修改）。

```
chown
omm
/home/omm/omnidata-install/omnidata/etc/
*
```


上述配置中的斜体部分，需要根据用户集群环境上的实际路径进行修改。