本地运行像DeepSeek-R1这样的AI模型既有趣又有助于学习。在这篇文章里,我将向你展示两种运行DeepSeek-R1的方法,一种是直接在你的系统上使用Ollama运行,另一种是使用Docker以获得更好的便携性和隔离性。这两种方法都能让你很快地与DeepSeek-R1互动起来。
照片由Saradasish Pradhan拍摄,来自Unsplash。
深索R1模型需求
在设置DeepSeek-R1之前,首先要了解不同模型的变体及其硬件需求,这一点很重要。DeepSeek提供了一系列文本驱动的AI模型,从轻量级版本到高性能的企业级模型。
最小的模型是 DeepSeek-R1 1.5B,它轻便,能在普通的CPU上运行,只需要很少的内存,非常适合用于聊天机器人和个人AI助理。往上升级到DeepSeek-R1 7B 和 8B,它们需要专用的GPU,如RTX 3060 或 RTX 3070,并需要更多的内存,因此,它们非常适合AI写作工具、总结和情感分析。
对于更重的AI工作负载,这些模型如DeepSeek-R1 14B和32B,至少需要16GB到32GB的RAM和像RTX 4090这样的高端GPU,非常适合企业AI应用和实时处理。还有专为大规模AI研究打造的DeepSeek-R1 70B模型,需要64GB以上的RAM和多个GPU,提供强大的AI解决方案,适合业务自动化和前沿研究。
如果你需要完整的DeepSeek-R1 671B 模型,准备好服务器级硬件,包括768GB内存和高性能的NVIDIA A100 GPU。这个模型用于大规模的人工智能研究和商业应用。这些应用需要强大的计算能力。
那么我们就开始第一种方法吧!
方法一:直接用Ollama运行DeepSeek-R1此方法是为那些希望直接在您的机器上使用Ollama运行DeepSeek-R1程序而无需依赖Docker的人准备的。它非常简单,无需复杂的配置。
安装一下Ollama
首先,你需要安装下Ollama。访问Ollama官网并下载适合你系统的版本。按照网站上的安装指南操作。安装完成后,你就可以用Ollama运行各种AI模型了,比如DeepSeek-R1。
https://www.ollama.com/ (这是一个网址)
快来试试 DeepSeek-R1 吧!正如我之前提到的,Ollama 提供了不同参数规模的 DeepSeek-R1 版本,包括以下不同的参数规模:1.5B 、 7B 、 8B 、 14B 、 32B 、 70B 和 671B 等版本。
访问这个链接:https://www.ollama.com/library/deepseek-r1
我会用8B版本,但你可以根据需要下载任何版本。
安装了Ollama之后,打开终端并运行以下命令来下载DeepSeek-R1 8B模型。
ollama run deepseek-r1:8b
模型下载完成后,您可以检查一下是否安装正确,运行 ollama list
命令。
你应该能看到DeepSeek-R1作为可用模型之一列出。如果看到它,恭喜!你准备好了!
要运行这个模型,只需运行下面的命令。
ollama run deepseek-r1:8b (运行深度搜索的第一个版本,8b表示某种参数配置)
就这样吧!你现在可以通过终端本地与DeepSeek-R1交互了。试试输入一些提示来测试模型。
就这样——你现在可以直接在你的机器上跑DeepSeek-R1。
方法2:在Docker容器内搭配Ollama运行DeepSeek-R1如果你更喜欢在一个更加隔离的环境中运行DeepSeek-R1,Docker 是一个不错的选择。它提供了很好的便携性,并确保你的设置可以在不同的系统上运行而不会因为依赖关系冲突而导致问题。
在这里,你可以如何在使用Ollama Docker容器里运行DeepSeek-R1 8B模型。
运行 Ollama Docker 容器程序
首先,我们从运行Ollama容器开始。使用以下命令启动容器,并暴露Ollama的API。
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
上述命令用于运行 Ollama 容器。其中,-d
表示以分离模式运行容器,-v ollama:/root/.ollama
表示将主机的 ollama 目录挂载到容器的 /root/.ollama 目录,-p 11434:11434
表示将主机的 11434 端口映射到容器的 11434 端口,--name ollama
指定容器名称为 ollama,最后的 ollama/ollama
是指定的镜像名称。
将容器以分离模式(-d
)运行,挂载一个持久化卷(-v
),并将 Ollama 的 API 暴露在 11434
端口上。
一旦Ollama容器运行起来后,就可以通过执行这个命令进入容器了。
docker exec -it ollama /bin/bash
这将让你访问容器的终端,在那里你可以运行命令。
在容器中运行以下命令来下载 DeepSeek-R1 1.5B 模型。
ollama pull deepseek-r1:1.5b
这个命令将下载模型及其所有依赖。现在模型已经准备就绪,用这条命令启动它。
ollama,run deepseek-r1:1.5b
模型将以交互模式启动。你可以用任何提示来试试它。
访问 Ollama Web 页面为了体验得更好,你可以运行Ollama Web GUI,通过浏览器与模型互动。为此,你可以运行如下命令。
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://localhost:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-d
表示容器在后台运行。-p 3000:8080
表示将容器的 8080 端口映射到主机的 3000 端口。-e OLLAMA_BASE_URL=http://localhost:11434
设置环境变量OLLAMA_BASE_URL
为http://localhost:11434
。-v open-webui:/app/backend/data
将主机的open-webui
目录挂载到容器的/app/backend/data
目录。--name open-webui
为容器指定名称open-webui
。--restart always
设置容器在任何情况下都会重启。
你可以在 Docker Desktop 中看到运行中的容器。
集装箱
容器启动后,在浏览器中打开http://localhost:3000,以通过网页界面与DeepSeek-R1交互。
加载页
网页GUI
结束一下无论你是在系统上直接运行 DeepSeek-R1 ,还是在 Docker 容器 中运行,这两种方法各有其好处。直接在本地运行既 快捷又简单 ,而使用 Docker 则能提供 便携性和隔离性 。
我希望这篇帖子能帮助你开始使用DeepSeek-R1这款工具。如果你有任何问题、建议或希望看到的内容,欢迎随时告诉我。你的反馈总是很受感激,并帮助这些帖子变得更有价值。
非常感谢AI工具的帮助,让我们一起愉快地编程吧!下次见啦。 🤖
共同学习,写下你的评论
评论加载中...
作者其他优质文章