Ollama on 墨殇个人博客https://example.org/tags/ollama/Recent content from 墨殇个人博客Hugozh-cnmoshang168@gmail.com (墨殇'BLOG)moshang168@gmail.com (墨殇'BLOG)本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！本地大模型部署完全指南：用Ollama在Windows上一键跑开源大模型https://example.org/posts/ollama-local-llm-guide/Mon, 01 Jan 0001 00:00:00 +0000moshang168@gmail.com (墨殇'BLOG)https://example.org/posts/ollama-local-llm-guide/ 本地大模型部署完全指南：用Ollama在Windows上一键跑开源大模型

作者：墨殇'BLOG（moshang168@gmail.com）

为什么要在本地跑大模型

云端大模型虽然方便，但有几个绕不开的问题：敏感数据上传有隐私风险、需要联网才能用、长对话有次数限制、不能随意修改模型参数。Ollama 就是一个让你在本地电脑上一键运行开源大模型的工具，全程离线可用，和本地装软件一样简单，不需要复杂的Python环境配置。

它的优势：

  • 一键安装：原生支持Windows/macOS/Linux，下载安装包下一步到底
  • 模型一键拉取：一行命令就能下载运行开源大模型
  • 完全离线：模型下载完成后断网也能正常对话
  • 开放接口：自带OpenAI兼容API，方便接入其他工具

第一步：安装Ollama

  1. 直接打开 Ollama官网 下载Windows安装包
  2. 双击安装包，全程默认下一步即可，安装完成后它会自动在后台运行（任务栏右下角会出现小羊图标）
  3. 打开终端，执行以下命令验证安装成功： 
    ollama --version
    正常会输出版本号，说明安装完成。

💡 硬件要求：8G内存就能跑7B参数的小模型做日常问答；16G以上内存可以跑14B参数模型；有独立显卡会大幅提升推理速度，核显也能正常运行，只是速度稍慢。

第二步：下载并运行第一个大模型

Ollama官方支持目前所有主流开源大模型，常用的中文友好模型推荐：

模型 大小 适合场景
qwen2.5:7b 4.7GB 日常问答、代码辅助、中文对话
deepseek-r1:7b 4.7GB 深度推理、逻辑思考
llama3.1:8b 4.7GB 通用英文场景、写作辅助

直接在终端执行命令就会自动下载并启动模型：

ollama run qwen2.5:7b

第一次执行会自动下载模型文件，根据网络速度等待几分钟即可。下载完成后自动进入对话界面，直接输入文字就能和本地大模型聊天了，完全不需要联网。

常用核心命令

命令 作用
ollama list 查看本地已经下载的所有模型
ollama run 模型名 启动并对话指定模型
ollama rm 模型名 删除本地不需要的模型，释放硬盘空间
ollama pull 模型名 仅下载模型不进入对话
ollama serve 启动本地API服务，默认端口11434

进阶：接入图形化界面

默认的命令行界面不够友好，你可以安装开源的Chatbox或Open WebUI这类客户端，连接Ollama的本地接口，获得和网页版ChatGPT一样的聊天体验：

  1. 下载 Chatbox 客户端
  2. 模型选择Ollama，接口地址自动默认 http://localhost:11434
  3. 选择你已经下载的本地模型，就可以开始对话了，支持上下文对话、代码高亮、文件读取。

常见问题

  1. 下载模型太慢：Ollama默认从国外源下载，可以设置国内镜像环境变量加速： 
    $env:OLLAMA_MODELS = "https://modelscope.cn/api/v1/ollama"
  2. 运行的时候内存占用太高：可以在启动的时候加上参数限制上下文长度，比如 ollama run qwen2.5:7b --ctx 4096
  3. 如何自定义模型参数：可以通过Modelfile自定义系统提示词、温度等参数，打造专属的本地助手。

本文0001-01-01首发于墨殇个人博客，最后修改于0001-01-01

]]>AI应用