openEuler 20.03 & openEuler 22.03操作系统
使用源码编译前,需在各节点安装GCC/G++、make、CMake以及Glibc,其版本要求参考如表1。
- 下载Conda软件包,并激活Conda虚拟环境。
- 下载Conda。
cd /opt wget -k https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-aarch64.sh
- 安装Conda,安装路径可以选择在“/opt/anaconda3”路径下面。
bash Anaconda3-2022.05-Linux-aarch64.sh
- 初始化Conda。
source /opt/anaconda3/etc/profile.d/conda.sh
- 创建Conda虚拟环境,名字是omnicache。
conda create -n omnicache python=3.9
- 激活Conda虚拟环境。
conda activate omnicache
- 下载Conda。
- 使用pip下载Python依赖库。
pip install Cython==0.29.24 pip install docutils==0.19 pip install numpy==1.22.3 pip install pandas==1.3.5 pip install ply==3.11 pip install PuLP==2.4 pip install py4j==0.10.9 pip install pydoop==2.0.0 pip install pyparsing==3.0.9 pip install pypred==0.4.0 pip install pyspark==3.1.1 pip install python-dateutil==2.8.2 pip install pytz==2022.2.1 pip install PyYAML==6.0 pip install six==1.16.0 pip install torch==1.10.2 pip install typing_extensions==4.3.0 pip install z3-solver==4.8.15.0
- 使用Conda下载GLPK第三方库。
conda install -c conda-forge glpk --yes
- 分别下载OmniCache物化视图推荐算法软件包, OmniCache物化视图 Plugin的JAR包、OmniCache物化视图日志解析JAR包放到Spark集群的server节点,软件包获取路径请参见软件获取,软件包路径没有特殊要求。例如以“/opt/omnicache”为例。
mkdir -p /opt/omnicache mv boostkit-omnicache-spark-3.1.1-1.0.0-aarch64.jar /opt/omnicache mv boostkit-omnicache-logparser-spark-3.1.1-1.0.0-aarch64.jar /opt/omnicache mv BoostKit-omnicache_1.0.0.zip /opt/omnicache
- 解压OmniCache物化视图组件包,并去除其他用户组的读取和可执行文件权限。
cd /opt/omnicache unzip BoostKit-omnicache_1.0.0.zip chmod -R o-r BoostKit-omnicache_1.0.0 chmod -R o-x BoostKit-omnicache_1.0.0
父主题: 部署OmniCache物化视图