有勇气的牛排博客

Ollama安装本地deepseek与API调用

有勇气的牛排 321 AI大模型 2025-03-01 21:33:35

1 前言

deepseek安装

2 安装

首先需要安装Ollama。

Ollama 是一个开源的 AI 平台,它通过提供高效的模型训练和推理支持,致力于简化 AI 应用的开发过程。Ollama 使得开发者能够在本地环境中运行高效的 AI 模型,无需依赖云端服务。它支持多种 AI 模型架构,提供简单的 API 来进行集成与部署。

https://ollama.com/download

Ollama下载安装

2.1 windows安装

默认安装位置:C:\Users\XX\AppData\Local\Programs\Ollama

自定义安装路径

OLLAMA_MODELS: D:/my/ai

3 模型查询

https://ollama.com/search

ollama查询模型

4 模型安装

默认安装位置:C:\Users\用户名\.ollama\models

4.1 deepseek 1.5

启动命令,没有模型会自动下载。这里选择1.5b最小的参数。

ollama run deepseek-r1:1.5b

deepseek安装

5 移动模型位置

(可选)先将模型手动剪切到目标为止,然后操作mklink。

mklink /J "C:\Users\Administrator\.ollama" "G:\ai\Ollama\models\.ollama"

ollama移动模型位置

6 配置API访问

6.1 windows配置

6.1.1 添加环境变量

OLLAMA_MODELS:G:\ai\Ollama OLLAMA_HOST:0.0.0.0 OLLAMA_ORIGINS:*

6.1.2 配置防火墙

控制面板\系统和安全\Windows Defender 防火墙

高级设置->入站规则->新建规则->端口->下一步->TCP:11434->下一步->允许连接->下一步到命名

Allow Ollama Port 11434

检查进程

netstat -aon|findstr 11434

6.2 CentOS

Ollama的配置文件通常位于/etc/ollama/ollama.conf

listen_address = 0.0.0.0

7 常用命令

ollama serve 启动ollama ollama create 从模型文件创建模型 ollama show 显示模型信息 ollama run 运行模型 ollama pull 从注册表中拉取模型 ollama push 将模型推送到注册表 ollama list 列出模型 ollama cp 复制模型 ollama rm 删除模型 ollama help 获取有关任何命令的帮助信息

curl http://192.168.56.1:11434/api/generate -d '{ "model": "deepseek-r1:1.5b", "prompt": "为什么草是绿的?" }'

windows

https://curl.se/windows/

curl http://localhost:11434/api/generate -d "{\"model\": \"deepseek-r1:1.5b\", \"prompt\": \"为什么草是绿的\"}"

留言

专栏
文章
加入群聊