所以大家,有很多本地llm的选择,但DeepSeek-R1已经下架了几周。如果你想用ollama/本地llm,我可以给你帮忙。
首先你需要一个Ollama,Ollama。安装它之后,你需要为Ollama设置CORS,否则会出现403 Forbidden错误。你需要在Windows的环境变量中定义OLLAMA_ORIGINS
。
好的,接下来我们要用 deepseek-r1 模型,我尝试使用 deepseek-r1:8b 这个版本,因为这个模型在测试中表现良好,我的电脑配有 Nvidia RTX 3070 8GB 显卡,显存足够,可以达到每秒 60-70 万亿次操作。
运行 ollama deepseek-r1:8b
然后模型开始下载,下载完成后,我们可以通过托盘图标关闭 ollama,我们需要关闭它并重启 ollama,因为我们定义了 CORS 设置。
你可以在开始菜单里启动ollama。
默认情况下,ollama 服务端点是 http://127.0.0.1:11434
,但如果你直接使用该端点,它是不能使用的。因此,我们需要 ngrok。你可以下载并登录,然后他们会让你使用认证令牌登录。
接下来我们得用 ngrok 获取一个公共 URL。
在命令行中输入以下命令:
.\ngrok.exe http 11434 --host-header="localhost:11434"
然后我们获得了OpenAI的公共网址。
可以检查一下你的终端是否在线
,请点击图片查看。
行,咱们动动光标吧.
我们需要定义在光标中使用的模型,你可以用 ollama list
查看你有哪些模型。
使用 API 密钥 ollama
和你的公共 URL https://xxxxxx.ngrok-free.app
即可,就这样搞定了,搞定啦!
这步做完了,我们可以试试用光标聊天的模型。
你看,本地的大模型在某些情况下可以正常工作,但不支持Compose,因为只支持anthropic和gpt模型。
共同学习,写下你的评论
评论加载中...
作者其他优质文章