安装软件（CentOS 7.6）

在CentOS 7.6操作系统下安装OmniMV物化视图软件，主要步骤包括：解决系统兼容性问题，首先挂载CentOS镜像并修改Yum源，安装Python以及Python所需的依赖包。然后下载OmniMV物化视图推荐算法软件安装包，将其中的Spark SQL Plugin的JAR包和日志解析JAR包放到Spark集群的server节点。最后，解压OmniMV物化视图组件包并去除其他用户组的读取和可执行文件权限。

由于系统兼容性问题安装Anaconda遇到报错后，可参考下面步骤安装依赖。

  1. 挂载CentOS镜像，修改Yum源。

    1
    mount CentOS-7-aarch64-Everything-1810.iso /media/

  2. 新建Yum配置文件。

    1. 新建“/etc/yum.repos.d/CentOS-local.repo”文件。
      1
      vi /etc/yum.repos.d/CentOS-local.repo
    2. 按“i”进入编辑模式，在文件中添加如下内容。
      1
2
3
4
5
      [local]
name=CentOS-7.6 local
baseurl=file:///media/
enabled=1
gpgcheck=0
    3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

  3. 使配置文件生效。

    1
2
    yum clean all
yum makecache

  4. 安装Python 3.10.2。

    1. 安装依赖。
      1
      yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel
    2. 进入“/home”目录，下载Python 3.10.2源码包。
      1
2
      cd /home
wget https://www.python.org/ftp/python/3.10.2/Python-3.10.2.tgz --no-check-certificate
    3. 解压Python源码包，并进入“/Python-3.10.2”目录。
      1
2
      tar zxvf Python-3.10.2.tgz
cd Python-3.10.2
    4. 配置安装位置。
      1
      ./configure prefix=/usr/local/python3
    5. 编译并安装。
      1
      make && make install
    6. 修改Python软连接。
      1
2
      ln -s /usr/local/python3/bin/python3.10 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.10 /usr/bin/pip3

  5. 安装Python依赖包。

    • Spark引擎依赖包
       1
 2
 3
 4
 5
 6
 7
 8
 9
10
      pip install Cython==0.29.24
pip install numpy==1.22.3
pip install pandas==1.3.5
pip install PyYAML==6.0
pip install mo-sql-parsing
pip install sql-metadata==2.6.0
pip install scikit-learn==1.1.2
pip install xgboost==1.7.3
pip install pyspark==3.1.1
pip install pydoop==2.0.0
    • ClickHouse引擎依赖包
      1
2
3
4
5
6
7
8
9
      pip install Cython==0.29.24
pip install numpy==1.22.3
pip install pandas==1.3.5
pip install PyYAML==6.0
pip install mo-sql-parsing
pip install sql-metadata==2.6.0
pip install clickhouse-driver==0.2.4
pip install scikit-learn==1.1.2
pip install xgboost==1.7.3

  6. 下载OmniMV物化视图推荐算法软件安装包。

    • Spark引擎下载OmniMV物化视图推荐算法软件安装包， 并将Spark SQL Plugin的JAR包、日志解析JAR包放到Spark集群的server节点，软件安装包获取路径请参见软件获取，软件安装包路径没有特殊要求。例如以“/opt/omnimv”为例。
      1
2
3
4
      mkdir -p /opt/omnimv
mv boostkit-omnimv-spark-3.1.1-1.1.0-aarch64.jar /opt/omnimv
mv boostkit-omnimv-logparser-spark-3.1.1-1.1.0-aarch64.jar /opt/omnimv
mv BoostKit-omnimv_1.1.0.zip /opt/omnimv
    • ClickHouse引擎。
      1
2
      mkdir -p /opt/omnimv
mv BoostKit-omnimv_1.1.0.zip /opt/omnimv

  7. 解压OmniMV组件包，并去除其他用户组的读取和可执行文件权限。

    1
2
3
    cd /opt/omnimv
unzip BoostKit-omnimv_1.1.0.zip
chmod -R o-r BoostKit-omnimv_1.1.0

    建议使用非root用户进行解压，使得解压的目录获得尽可能小的权限，避免被替换文件。

父主题： 安装OmniMV物化视图特性