Windows安装Ollama本地部署大模型

Windows使用LM Studio部署DeepSeek R1模型
https://wiki.bafangwy.com/doc/805/

# 为什么要本地部署大模型？
隐私： 所有的对话都在你本地电脑，不用担心数据被上传。
免费： 不用充值会员，不用买Token，想用多久用多久。
离线： 没网络的地方，依然可以使用。

# 说明
本地部署大模型，当参数数量比较大的时候，对电脑的硬件配置要求比较高，而且效率不如远程的API。

# 注册账号
联网搜索需要登录账号。
也可以使用Google或者Github账号直接登录。
需要绑定邮箱、手机号。
https://signin.ollama.com/

# 下载

建议直接使用迅雷粘贴这个地址下载，这是速度最快的一种方法：
`https://ollama.com/download/OllamaSetup.exe`

# 安装
ollama默认是安装在C盘的，请确保C盘有足够的空间

![](/media/202604/2026-04-08_152329_1893110.4840670425913659.jpeg)

安装中：

![](/media/202604/2026-04-08_152343_7953570.3314112594278438.png)

# 界面

![](/media/202604/2026-04-08_152453_0963340.09512136603152155.png)

默认使用`gpt-oss:20b`的模型，在聊天时会触发下载
<font color="red">不建议用界面的下载功能，非常慢，而且可能卡住。用后面的命令下载。</font>
![](/media/202604/2026-04-08_153005_7099790.7005768108516368.png)

# 修改模型存储位置
打开侧边栏，进入设置：

![](/media/202604/2026-04-08_152538_8119260.7240950240549402.png)

修改模型存储位置，避免占用C盘空间：

![](/media/202604/2026-04-08_152750_1238600.3107661897163574.png)

# 下载模型

模型下载：
https://ollama.com/search

点击模型详情，在具体模型上复制完整名称

![](/media/202604/2026-04-08_160106_9427770.4968521571329866.png)

先设置镜像：
`set OLLAMA_REGISTRY=https://docker.mirrors.ustc.edu.cn`

然后用`ollama pull 模型名称`命令拉取模型，例如：
`ollama pull qwen3.5:0.8b`

![](/media/202604/2026-04-08_161242_4853670.0014219153960500774.png)

在cmd输入`ollama list`查看已经下载的模型列表

在cmd运行交互式的大模型：
`ollama run qwen3.5:0.8b`

查看正在运行的模型：
`ollama ps`

也可以直接在界面中选择下载的大模型进行对话。

# 启动服务
把下面的内容编写为`ollama.bat`脚本，右键管理员方式运行。
```
@echo off
taskkill /f /im ollama.exe >nul 2>&1
taskkill /f /im ollama-app.exe >nul 2>&1

:: 强制用 GPU + 关闭多余检查
set OLLAMA_CPU_ALLOW_FALLBACK=0
set OLLAMA_GPU=1
set OLLAMA_VULKAN=1
set OLLAMA_KEEP_ALIVE=24h

:: 重启服务
ollama serve
pause
```

Ollama 服务运行在
`http://localhost:11434`

用这个命令确认：
`netstat -an|findstr 11434`

调用python代码示例：
```
import requests

BASE_URL = "http://127.0.0.1:11434/api/chat"
MODEL = "qwen3.5:0.8b"

def chat(messages, model=MODEL):
    """
    调用 Ollama /api/chat 接口，返回回复文本和更新后的消息列表。
    messages 格式: [{"role": "user", "content": "..."}, ...]
    """
    data = {
        "model": model,
        "messages": messages,
        "stream": False,
    }
    resp = requests.post(BASE_URL, json=data, timeout=60)
    resp.raise_for_status()
    result = resp.json()
    content = result["message"]["content"]
    messages.append({"role": "assistant", "content": content})
    return content, messages

if __name__ == "__main__":
    print("=" * 50)
    print(f"Ollama 快速对话  ({MODEL})")
    print("输入 :q 退出  :r 重置对话  :c 查看历史")
    print("=" * 50)

history = []

while True:
        try:
            user_input = input("\n你 > ").strip()
        except (EOFError, KeyboardInterrupt):
            print("\n再见。")
            break

if not user_input:
            continue

if user_input in (":q", ":quit", "exit", "quit"):
            print("再见。")
            break

if user_input == ":r":
            history = []
            print("[对话已重置]")
            continue

if user_input == ":c":
            for m in history:
                print(f"  {m['role']}: {m['content'][:80]}...")
            continue

history.append({"role": "user", "content": user_input})

try:
            reply, history = chat(history)
            print(f"\nAI > {reply}")
        except Exception as e:
            print(f"\n[错误] {e}")
            history.pop()
```