环境要求
本文档以openEuler 24.03 LTS SP3系统下编译构建Tokenizers 0.22.2版本为例。除此之外，本节介绍了源码构建验证可支持的其他环境信息。
可支持的版本
OS版本 |
Python版本 |
支持的Tokenizers版本范围 |
|---|---|---|
openEuler 24.03 LTS SP3 |
Python 3.11.6 |
Tokenizers 0.22.x；建议Tokenizers 0.22.2 |
openEuler 22.03 LTS SP4 |
Python 3.9.9 |
Tokenizers 0.22.x；建议Tokenizers 0.22.2 |
Tokenizers 0.22.2要求Python >=3.9。openEuler 22.03 LTS SP4默认的Python版本为3.9.9满足该版本要求，可以构建和安装Tokenizers 0.22.2。
依赖组件要求
组件 |
版本 |
|---|---|
python3 |
3.11.6-20.oe2403sp3 |
python3-pip |
23.3.1-7.oe2403sp3 |
python3-devel |
3.11.6-20.oe2403sp3 |
GCC |
12.3.1-105.oe2403sp3 |
GCC-C++ |
12.3.1-105.oe2403sp3 |
Git |
2.43.0-10.oe2403sp3 |
Rust |
1.90.0-2.oe2403sp3 |
cargo |
1.90.0-2.oe2403sp3 |
pip |
26.1.1 |
setuptools |
82.0.1 |
wheel |
0.47.0 |
maturin |
1.13.3 |
packaging |
26.2 |
父主题： 开发前准备