源码编译构建

获取Tokenizers 0.22.2源码，从源码包构建wheel后安装构建产物。

1. 获取Tokenizers 0.22.2源码。

   1 2 3

   mkdir -p /tmp/tokenizers-build/dist python3 -m pip download --no-build-isolation --no-binary=:all: --no-deps \ --dest /tmp/tokenizers-build tokenizers==0.22.2

   

   “--no-binary=:all:”用于禁止下载预编译wheel，确保获取源码包并执行本地构建。

2. 从源码包构建wheel。

   1 2 3

   python3 -m pip wheel --no-build-isolation --no-binary=:all: --no-deps \ --wheel-dir /tmp/tokenizers-build/dist \ /tmp/tokenizers-build/tokenizers-0.22.2.tar.gz

3. 安装运行依赖和本地构建产物。

   1 2	python3 -m pip install "huggingface-hub>=0.16.4,<2.0" python3 -m pip install --no-index --find-links /tmp/tokenizers-build/dist --no-deps tokenizers==0.22.2

   构建产物示例如下：

   1	tokenizers-0.22.2-cp39-abi3-linux_aarch64.whl