Llm

关于 DeepSeek 本地部署

February 3, 2025
Llm, Deepseek, Ollama

如何在本地部署 DeepSeek 最新的模型？其实 DeepSeek 官方有相关指南1，但是更方便的部署方式是采用 ollama2，互联网上大部分教程都是采用此方案34，本文也不例外。

Ollama 方式部署 （NVIDIA平台） #

Ollama 是2023年6月开始的项目，使用 Go 语言写的工具，用于在本地一条命令安装、启动和管理大型语言模型，支持 Llama 3、Gemma、Mistral 等大模型，适用于 Windows、macOS、Linux 操作系统。目前在 Github 上 star 数 118k，可见其流行程度。

根据对应的操作系统，按照官网指示，下载安装 Ollama 到本地电脑。安装完毕后根据自己电脑配置，选择合适的模型下载：

1.5B version (smallest):
ollama run deepseek-r1:1.5b

8B version:
ollama run deepseek-r1:8b

14B version:
ollama run deepseek-r1:14b

32B version:
ollama run deepseek-r1:32b

70B version (biggest/smartest):
ollama run deepseek-r1:70b

这里有 Pllama 官方提供的DeepSeek 系列模型页面5，如果网络顺利的话，应该等待下载完毕就可与 LLM 进行交互。为了交互的方便，可以使用ChatBox，同意各个平台都有APP，也可以使用 Web 版，进行后端 API 的设置即可。

经过实测，4090 24GB 显存最多可以流畅运行 Ollama 提供的 deepseek-r1:32b 模型。我在本地下载了各个版本的模型，大小如下：

...