安装软件(openEuler 22.03)

在openEuler 22.03操作系统下安装OmniMV物化视图软件,主要步骤包括:安装Conda、创建OmniMV虚拟环境。然后使用pip下载Python依赖库,包括Spark和ClickHouse引擎的依赖包。最后下载并解压OmniMV物化视图推荐算法软件安装包,并去除其他用户组的读取和可执行文件权限。

  1. 下载Conda软件安装包,并激活Conda虚拟环境。

    1. 下载Conda。
      1
      2
      cd /opt
      wget -k https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-aarch64.sh
      
    2. 安装Conda,安装路径可以选择在“/opt/anaconda3”路径下面。
      1
      bash Anaconda3-2022.05-Linux-aarch64.sh
      
    3. 初始化Conda。
      1
      source /opt/anaconda3/etc/profile.d/conda.sh
      
    4. 创建Conda虚拟环境,名字是omnimv。
      1
      conda create -n omnimv python=3.11
      
    5. 激活Conda虚拟环境。
      1
      conda activate omnimv
      

  2. 使用pip下载Python依赖库。

    • Spark引擎依赖包
       1
       2
       3
       4
       5
       6
       7
       8
       9
      10
      pip install Cython==0.29.24
      pip install pandas==1.3.5
      pip install PyYAML==6.0
      pip install mo-sql-parsing
      pip install sql-metadata==2.6.0
      pip install scikit-learn==1.5.2
      pip install xgboost==1.7.3
      pip install pyspark==3.1.1
      pip install pydoop==2.0.0
      pip install numpy==1.23.3
      
    • ClickHouse引擎依赖包
      1
      2
      3
      4
      5
      6
      7
      8
      9
      pip install Cython==0.29.24
      pip install pandas==1.3.5
      pip install PyYAML==6.0
      pip install mo-sql-parsing
      pip install sql-metadata==2.6.0
      pip install clickhouse-driver==0.2.4
      pip install scikit-learn==1.5.2
      pip install xgboost==1.7.3
      pip install numpy==1.23.3
      

  3. 下载OmniMV物化视图推荐算法软件安装包。

    • Spark引擎下载OmniMV物化视图推荐算法软件安装包, 并将Spark SQL Plugin的JAR包、日志解析JAR包放到Spark集群的server节点,软件安装包获取路径请参见软件获取,软件安装包路径没有特殊要求。例如以“/opt/omnimv”为例。
      1
      2
      3
      4
      mkdir -p /opt/omnimv
      mv boostkit-omnimv-spark-3.1.1-1.1.0-aarch64.jar /opt/omnimv
      mv boostkit-omnimv-logparser-spark-3.1.1-1.1.0-aarch64.jar /opt/omnimv
      mv BoostKit-omnimv_1.1.0.zip /opt/omnimv
      
    • ClickHouse引擎。
      1
      2
      mkdir -p /opt/omnimv
      mv BoostKit-omnimv_1.1.0.zip /opt/omnimv
      

  4. 解压OmniMV物化视图组件包,并去除其他用户组的读取和可执行文件权限。

    1
    2
    3
    cd /opt/omnimv
    unzip BoostKit-omnimv_1.1.0.zip
    chmod -R o-r BoostKit-omnimv_1.1.0
    

    建议使用非root用户进行解压,使得解压的目录获得尽可能小的权限,避免被替换文件。