--- title: 配置特性 description: "在启动OmniData算子下推前，必须完成Ceph/HDFS和OmniData算子下推Native化配置，而当集群中HDFS和ZooKeeper为安全模式时还需完成Kerberos配置。" url: https://www.hikunpeng.com/document/detail/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0030.html sourcePath: /source/zh/kunpengboostkithistory/2300/bds/kunpengbds_omniruntime_20_0030.html indexId: d3d159ac9726d4c373d93703fb197f578a4fd0b291ab1fdb97a3951e32eac2de78 --- # 配置特性 在启动OmniData算子下推前，必须完成Ceph/HDFS和OmniData算子下推Native化配置，而当集群中HDFS和ZooKeeper为安全模式时还需完成Kerberos配置。 #### 场景一：访问Ceph/HDFS的配置（必须项） OmniData算子下推服务启动时需要读取HDFS/Ceph的配置文件，用户需要上传配置文件hdfs-site.xml和core-site.xml（可在ceph1/hdfs1、ceph2/hdfs2、ceph3/hdfs3节点上进行搜索，在Hadoop安装目录下的“etc/hadoop/”中）到OmniData的“etc”目录下面。 如表1所示，可以添加文件传输的操作，以Ceph为例，把本地路径的hdfs-site.xml传输至选中服务器（ceph1、ceph2、ceph3节点）的“/home/omm/omnidata-install/omnidata/etc/”路径下。core-site.xml的上传方式相同。 **表1 任务1编辑参数内容** | 参数 | 内容 | | --- | --- | | 任务名称 | 传输配置文件 | | 任务描述 | 选择所有卸载节点，传输配置文件 | | 传输方向 | 从本地传至远端主机 | | 本地路径 | 本地路径的hdfs\-site.xml | | 远端路径 | /home/omm/omnidata\-install/omnidata/etc/ | 若访问Ceph，卸载节点（ceph1~ceph3）则需要准备多个依赖包： 1. hdfs-ceph-3.2.0.jar和librgw_jni.so已经通过SmartKit上传到服务器，且确保会被HAF程序加载。 2. 将任意引擎节点（agent1~agent3）上的密钥文件keyring拷贝到ceph1~ceph3上对应的相同目录下（默认路径：“/var/lib/ceph/radosgw/ceph-admin/keyring”）。 3. 在ceph1~ceph3上注意keyring的权限：chmod -R 755 /var/lib/ceph;chmod 644 keyring。 #### 场景二：OmniData算子下推Native化的配置（OmniData算子下推Native化必须项） 在卸载节点上添加如下配置到“/home/omm/omnidata-install/omnidata/etc/config.properties”中。 1. 进入config.properties配置文件目录，编辑config.properties配置文件。 1 2 cd /home/omm/omnidata-install/omnidata/etc vi config.properties 2. 按“i”进入编辑模式，将以下内容添加到文件中。 1 2 3 operator.combine.enabled=true operator.lib.path=/opt/omni-operator/lib dynamic.lib.path=/usr/local/lib/HMPP 其中，operator.lib.path为OmniOperator算子加速 lib目录的绝对路径。dynamic.lib.path为OmniOperator算子加速默认的动态库安装地址。 只有在日志等级为DEBUG级别时，才能看到Native化日志记录。如想查看Native化日志，修改“/home/omm/omnidata-install/omnidata/etc/logback.xml”日志级别为DEBUG。如： 1 2 3 4 3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。 #### 场景三：Kerberos配置（当集群中HDFS和ZooKeeper为安全模式时） 在卸载节点上添加如下配置到“/home/omm/omnidata-install/omnidata/etc/config.properties”中。同时将相关配置文件（krb5.conf、hdfs.keytab、client_jaas.conf等）拷贝到“etc”目录下。 1. 配置KERBEROS，并拷贝相关配置文件到指定目录下。 a. 进入config.properties配置文件目录，编辑config.properties配置文件。 1 2 cd /home/omm/omnidata-install/omnidata/etc vi config.properties b. 按“i”进入编辑模式，将以下内容添加到文件中。 ``` hdfs.authentication.type=KERBEROS hdfs.krb5.conf.path= /home/omm/omnidata-install/omnidata/etc/krb5.conf hdfs.krb5.keytab.path= /home/omm/omnidata-install/omnidata/etc/hdfs.keytab hdfs.krb5.principal= hdfs/server1@EXAMPLE.COM ``` c. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。 d. 拷贝相关配置文件至指定目录。 ``` cp xxx/ krb5.conf /home/omm/omnidata-install/omnidata/etc/ cp xxx/ hdfs.keytab /home/omm/omnidata-install/omnidata/etc/ ``` 2. 配置安全的ZooKeeper连接。 ``` zookeeper.krb5.enabled=true zookeeper.java.security.auth.login.config= /home/omm/omnidata-install/omnidata/etc/client_jaas.conf zookeeper.krb5.conf= /home/omm/omnidata-install/omnidata/etc/krb5.conf cp xxx/ client_jaas.conf /home/omm/omnidata-install/omnidata/etc/ cp xxx/ krb5.conf /home/omm/omnidata-install/omnidata/etc/ ``` 3. 配置文件目录授权（omm为当前HAF安装用户，请根据实际情况修改）。 ``` chown omm /home/omm/omnidata-install/omnidata/etc/ * ``` - 上述配置中的斜体部分，需要根据用户集群环境上的实际路径进行修改。 - 需要根据用户不同版本的zookeeper-xxx.jar，去替换“/home/omm/omnidata-install/omnidata/lib”目录下原来的zookeeper-xxx.jar。