从 Hugging Face 下载 GGUF 模型并导入 Ollama

Thu, 09 Apr 2026 11:00:07 +0800

如果某个模型在 Ollama 官方库里没有现成版本，或者你想使用 Hugging Face 上的特定 GGUF 文件，可以手动下载后再导入 Ollama。

第 1 步：从 Hugging Face 下载 GGUF 文件

先在 Hugging Face 上找到目标模型对应的 GGUF 文件。通常会看到多个量化版本，例如：

选择哪个版本，取决于你的显存、内存和你对速度、质量的取舍。下载后把 .gguf 文件放到固定目录，后面在 Modelfile 里直接引用。

在模型文件同目录新建一个 Modelfile。最基本的写法如下：

`1`	`FROM ./model.gguf`

如果文件名不同，就改成实际文件名，例如：

`1`	`FROM ./gemma-3-12b-it-q4_k_m.gguf`

如果只是先跑起来，通常这一行 FROM 就够了。

然后执行：

`1`	`ollama create myModelName -f Modelfile`

创建成功后，这个 GGUF 文件就会成为一个可直接调用的本地模型。

创建完成后直接运行：

`1`	`ollama run myModelName`

之后它的使用方式就和 ollama pull 下来的模型基本一致。

如果你不确定 Modelfile 应该怎么写，可以直接查看现有模型的配置：

`1`	`ollama show --modelfile llama3.2`

这条命令会输出 llama3.2 的 Modelfile 内容，适合拿来参考：

下面这些场景适合从 Hugging Face 手动导入：

如果官方库里已经有现成版本，直接 pull 通常更省事；但当你需要特定量化或自定义封装时，GGUF + Modelfile 会更灵活。

从 Hugging Face 下载 GGUF 文件再导入 Ollama 并不复杂。准备好模型文件，写一个最小可用的 Modelfile，再执行 ollama create，就可以把第三方 GGUF 模型接入 Ollama。