环境要求
本文档以openEuler 24.03 LTS SP3系统下安装Tokenizers 0.22.2版本为例。除此之外，本节介绍了鲲鹏服务器上安装Tokenizers可支持的其他环境信息。
可支持的版本
OS版本 |
Python版本 |
支持的Tokenizers版本范围 |
|---|---|---|
openEuler 24.03 LTS SP3 |
Python 3.11.6 |
Tokenizers 0.22.x；建议Tokenizers 0.22.2 |
openEuler 22.03 LTS SP4 |
Python 3.9.9 |
Tokenizers 0.22.x；建议Tokenizers 0.22.2 |
Tokenizers 0.22.2要求Python >=3.9。openEuler 22.03 LTS SP4默认的Python版本为3.9.9满足该版本要求，可以构建和安装Tokenizers 0.22.2。
依赖组件要求
组件 |
版本 |
|---|---|
python3 |
3.11.6-20.oe2403sp3 |
python3-pip |
23.3.1-7.oe2403sp3 |
pip |
26.1.1 |
setuptools |
82.0.1 |
wheel |
0.47.0 |
Tokenizers |
0.22.2 |
父主题： 安装前准备