# 源码编译构建

获取Tokenizers 0.22.2源码，从源码包构建wheel后安装构建产物。

1. 获取Tokenizers 0.22.2源码。
  1 2 3 mkdir -p /tmp/tokenizers-build/dist python3 -m pip download --no-build-isolation --no-binary=:all: --no-deps \ --dest /tmp/tokenizers-build tokenizers==0.22.2

  “--no-binary=:all:”用于禁止下载预编译wheel，确保获取源码包并执行本地构建。

2. 从源码包构建wheel。
  1 2 3 python3 -m pip wheel --no-build-isolation --no-binary=:all: --no-deps \ --wheel-dir /tmp/tokenizers-build/dist \ /tmp/tokenizers-build/tokenizers-0.22.2.tar.gz

3. 安装运行依赖和本地构建产物。
  1 2 python3 -m pip install "huggingface-hub>=0.16.4,<2.0" python3 -m pip install --no-index --find-links /tmp/tokenizers-build/dist --no-deps tokenizers==0.22.2

  构建产物示例如下：

  1 tokenizers-0.22.2-cp39-abi3-linux_aarch64.whl
