用 Ollama 或 LM Studio 完全离线运行 AI 编程助手

安装 OHarness,启动 Ollama(端口 11434)或 LM Studio 的服务器(端口 1234),然后运行 oharness -m ollama/<model>。这两个运行时都是无需 key 的内置厂商,所以每一次模型请求都留在你的机器上。

更新于

需要准备什么

  • Node 22.6 或更新版本,用于 CLI。
  • Ollama 或 LM Studio,以及一个支持工具调用的模型。不能调用工具的 agent 只能谈论你的代码。
  • 足够运行模型的内存。20–30B 的编程模型是 agent 任务的实际下限;更小的模型也能回答问题,但在多步编辑中会跟丢进度。

用 Ollama 配置

  1. 安装 CLI。
  2. 拉取一个能调用工具的模型,例如 qwen3-coder:30b 或 gpt-oss:20b。
  3. 用它启动 agent。第一个斜杠前面是厂商,后面是模型名,与 Ollama 列出的名称完全一致。
npm install -g oharness
ollama pull qwen3-coder:30b
oharness -m ollama/qwen3-coder:30b

不需要 key,也没有什么要配置的:ollama 厂商指向 http://localhost:11434/v1,并向服务器获取模型列表,所以你拉取过的任何模型都会出现在 /models 里。

用 LM Studio 配置

在 LM Studio 里加载一个模型并启动它的本地服务器(Developer 标签页,或者 lms server start)。LM Studio 的模型 id 本身也带斜杠,这没关系——只有第一个斜杠用来分隔厂商:

oharness -m lmstudio/qwen/qwen3-coder-30b

给模型足够的上下文

agent 会话很长:每次读文件、每个工具结果都会回到上下文里。除非你调大,否则 Ollama 提供的上下文比大多数模型支持的要短得多;而当本地服务器不报告自己的窗口大小时,OHarness 会假定为 128K——于是上下文压缩触发得比服务器实际截断得晚。在长会话之前,先调大服务器的窗口:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

在 LM Studio 里,同样的设置就是加载模型时的上下文长度滑块。32K 是 agent 任务能用的最低值;内存允许的话越大越好。

哪些还会联网

流量何时如何关闭
模型请求从不——它们发往 localhost—
更新检查最多每天一次,访问 npm registryOHARNESS_NO_UPDATE_CHECK=1
会话同步仅在登录 OHarness 账号时不登录,或 /sync off
MCP 服务器仅限你配置的那些使用 stdio 服务器,或者不用

什么时候不该用本地模型

本地模型按 token 算免费、而且私密,但在跨多个文件的长改动上,它们不如最好的托管模型。一种合理的分工:探索、阅读和小改动用本地模型;大型重构用托管模型——在同一个会话里用 /model 切换,什么都不用转换。具体做法见会话中途切换模型。

常见问题

AI 编程 agent 能完全离线运行吗?

能。让 OHarness 连接 Ollama 或 LM Studio,agent 循环、工具和模型就全都在你的机器上运行。唯一的其他流量是每天一次的 npm 更新检查(用 OHARNESS_NO_UPDATE_CHECK=1 关闭),以及只在你登录后才会运行的同步。

哪些本地模型适合编程 agent?

支持工具调用的模型,最好在 20–30B 参数或以上。Qwen3-Coder 这类针对编程调优的模型和 gpt-oss 这类通用模型都可以;不支持工具调用的模型能回答问题,但不能编辑文件或执行命令。

OHarness 配合 Ollama 使用需要 API key 吗?

不需要。ollama 和 lmstudio 两个厂商是内置的,无需 key,分别指向 localhost:11434 和 localhost:1234。启动服务器,然后运行 oharness -m ollama/<model> 即可。

为什么用本地模型跑长会话会忘掉前面的内容?

通常是服务器的上下文窗口比模型支持的小。Ollama 默认提供的窗口很短;用 OLLAMA_CONTEXT_LENGTH(或 num_ctx)调大,OHarness 的上下文压缩就会在安全的时间点做总结,而不是让服务器悄悄截断。

相关内容