本地大模型部署完全指南：用Ollama在Windows上一键跑开源大模型

为什么要在本地跑大模型

云端大模型虽然方便，但有几个绕不开的问题：敏感数据上传有隐私风险、需要联网才能用、长对话有次数限制、不能随意修改模型参数。Ollama 就是一个让你在本地电脑上一键运行开源大模型的工具，全程离线可用，和本地装软件一样简单，不需要复杂的Python环境配置。

它的优势：

• 一键安装：原生支持Windows/macOS/Linux，下载安装包下一步到底
• 模型一键拉取：一行命令就能下载运行开源大模型
• 完全离线：模型下载完成后断网也能正常对话
• 开放接口：自带OpenAI兼容API，方便接入其他工具

第一步：安装Ollama

1. 直接打开 Ollama官网 下载Windows安装包
2. 双击安装包，全程默认下一步即可，安装完成后它会自动在后台运行（任务栏右下角会出现小羊图标）
3. 打开终端，执行以下命令验证安装成功：

   ollama --version
   

   正常会输出版本号，说明安装完成。

💡 硬件要求：8G内存就能跑7B参数的小模型做日常问答；16G以上内存可以跑14B参数模型；有独立显卡会大幅提升推理速度，核显也能正常运行，只是速度稍慢。

第二步：下载并运行第一个大模型

Ollama官方支持目前所有主流开源大模型，常用的中文友好模型推荐：

直接在终端执行命令就会自动下载并启动模型：

ollama run qwen2.5:7b

第一次执行会自动下载模型文件，根据网络速度等待几分钟即可。下载完成后自动进入对话界面，直接输入文字就能和本地大模型聊天了，完全不需要联网。

常用核心命令

进阶：接入图形化界面

默认的命令行界面不够友好，你可以安装开源的Chatbox或Open WebUI这类客户端，连接Ollama的本地接口，获得和网页版ChatGPT一样的聊天体验：

1. 下载 Chatbox 客户端
2. 模型选择Ollama，接口地址自动默认 http://localhost:11434
3. 选择你已经下载的本地模型，就可以开始对话了，支持上下文对话、代码高亮、文件读取。

常见问题

1. 下载模型太慢：Ollama默认从国外源下载，可以设置国内镜像环境变量加速：

   $env:OLLAMA_MODELS = "https://modelscope.cn/api/v1/ollama"
   

2. 运行的时候内存占用太高：可以在启动的时候加上参数限制上下文长度，比如 ollama run qwen2.5:7b --ctx 4096
3. 如何自定义模型参数：可以通过Modelfile自定义系统提示词、温度等参数，打造专属的本地助手。