---
title: 介绍
description: "本文主要向用户介绍鲲鹏服务器上Tokenizers的开发指南，包含源码构建、安装和开发验证场景。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengai/ecosystemEnable/tokenizers/kunpengtokenizers_16_0001.html
sourcePath: /source/zh/kunpengai/ecosystemEnable/tokenizers/kunpengtokenizers_16_0001.html
indexId: 34f5bd18a37cc596d7e13810e82b83314cf20eb9bfe9cffd6be3ba7e28a46f5478
---
# 介绍

本文主要向用户介绍鲲鹏服务器上Tokenizers的开发指南，包含源码构建、安装和开发验证场景。

Tokenizers通过彻底规避Python GIL限制并原生支持多线程并行处理批量文本，在服务器CPU上可达到20秒内完成1GB文本分词的吞吐性能，广泛应用于大模型推理预处理与自定义词表训练场景。 基于鲲鹏服务器部署Tokenizers，其Rust核心与Python绑定的架构在ARM64平台上支持直接安装运行（官方PyPI已提供AArch64预编译wheels），能充分利用鲲鹏处理器多核并行架构实现批量文本的线性加速分词。

Tokenizers的核心实现依赖Rust工具链。Tokenizers本身不依赖GPU，源码构建和功能验证不需要安装CUDA或GPU运行时。