访问HuggingFace网站下载所需Embedding模型。以BAAI/bge-large-zh-v1.5为例，下载“Files and versions”下所有文件。
访问昇腾社区下载Mis-tei镜像。根据NPU类型下载相应镜像。
运行容器。
```
docker run -u root -e ASCEND_VISIBLE_DEVICES=0 -itd  --name=tei --net=host \
-e HOME=/home/HwHiAiUser \
-e TEI_NPU_DEVICE=0 \[可选]
--privileged=true  \
-v /root/bge-large-zh-v1.5:/home/HwHiAiUser/model/bge-large-zh-v1.5 \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--entrypoint /home/HwHiAiUser/start.sh \[可选，一般不加]
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-300I-Duo-aarch64 BAAI/bge-large-zh-v1.5 ip port
```
- --name=tei：指定容器名称。
以下参数可根据实际情况进行配置：
- -e ASCEND_VISIBLE_DEVICES=0：指定容器运行在特定的NPU上，此处即为运行至npu_id = 0上。
- -e TEI_NPU_DEVICE=0：指定服务运行至特定的NPU上，此处即为运行至npu_id = 0上。
- -v /root/bge-large-zh-v1.5:/home/HwHiAiUser/model/bge-large-zh-v1.5：宿主机模型文件夹所在位置即容器模型安装位置，注意，容器中一定要存在bge-large-zh-v1.5 文件夹，否则将在线下载模型，可能引起容器服务化失败。
- swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-300I-Duo-aarch64 BAAI/bge-large-zh-v1.5 ip port
  - swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-300I-Duo-aarch64：Mis-tei镜像ID。
  - BAAI/bge-large-zh-v1.5：从Hugging Face获取的模型ID。
  - ip：用于配置服务化的IP地址。
  - port：用于配置服务化端口，不要与其他容器冲突。
在鲲鹏模组RAG一体机部署场景，由于Embedding模型和推理服务部署均部署在NPU上，可能存在Embedding模型占用显存持续增加的问题。处理方式请参见昇腾社区提供的FAQ。

Embedding模型新建窗口接口测试。IP地址和端口请根据实际情况进行替换。

curl ip:port/embed \
-X POST \
-d '{"inputs":"What is Deep Learning?"}' \
-H 'Content-Type: application/json'

昇腾NPU平台