介绍

本文主要向用户介绍鲲鹏服务器上Ollama的开发指南，包含源码构建、安装和基础命令验证场景。

Ollama是一个开源的、专为本地化部署与运行大语言模型设计的轻量级推理框架。 基于鲲鹏服务器部署Ollama，能够原生利用其ARM64架构对GGUF格式模型的内置支持，结合鲲鹏多核处理能力与openEuler操作系统的深度适配进行指令级优化。