KI-Coding-Agent komplett offline mit Ollama oder LM Studio
Installieren Sie OHarness, starten Sie Ollama (Port 11434) oder den Server von LM Studio (Port 1234) und führen Sie oharness -m ollama/<model> aus. Beide Laufzeiten sind integrierte Anbieter ohne Schlüssel, sodass jede Modellanfrage auf Ihrem Rechner bleibt.
Aktualisiert am
Was Sie brauchen
- Node 22.6 oder neuer für die CLI.
- Ollama oder LM Studio mit einem Modell, das Tool-Aufrufe unterstützt. Ein Agent, der keine Tools aufrufen kann, kann über Ihren Code nur reden.
- Genug Arbeitsspeicher für das Modell. Ein Coding-Modell mit 20–30B ist die praktische Untergrenze für Agent-Arbeit; kleinere Modelle antworten zwar, verlieren aber bei mehrstufigen Änderungen den Faden.
Einrichtung mit Ollama
- Installieren Sie die CLI.
- Laden Sie ein Modell, das Tools aufruft, zum Beispiel
qwen3-coder:30bodergpt-oss:20b. - Starten Sie den Agenten damit. Der Teil vor dem ersten Schrägstrich ist der Anbieter, der Rest ist der Modellname, genau so, wie Ollama ihn auflistet.
npm install -g oharnessollama pull qwen3-coder:30boharness -m ollama/qwen3-coder:30bEs gibt keinen Schlüssel und nichts zu konfigurieren: Der Anbieter ollama zeigt auf http://localhost:11434/v1 und fragt den Server nach seiner Modellliste, sodass alles, was Sie geladen haben, unter /models erscheint.
Einrichtung mit LM Studio
Laden Sie ein Modell in LM Studio und starten Sie den lokalen Server (Tab „Developer“ oder lms server start). Modell-IDs in LM Studio enthalten selbst einen Schrägstrich, das ist kein Problem – nur der erste Schrägstrich trennt den Anbieter ab:
oharness -m lmstudio/qwen/qwen3-coder-30bGeben Sie dem Modell genug Kontext
Agent-Sitzungen sind lang: Jede gelesene Datei und jedes Tool-Ergebnis wandert zurück in den Kontext. Ollama stellt einen deutlich kürzeren Kontext bereit, als die meisten Modelle unterstützen, sofern Sie ihn nicht erhöhen; und wenn ein lokaler Server sein Fenster nicht meldet, nimmt OHarness 128K an – die Verdichtung greift dann später, als der Server tatsächlich abschneidet. Erhöhen Sie das Fenster des Servers vor einer langen Sitzung:
OLLAMA_CONTEXT_LENGTH=32768 ollama serveIn LM Studio ist dieselbe Einstellung der Regler für die Kontextlänge beim Laden des Modells. 32K ist ein brauchbares Minimum für Agent-Arbeit; mehr ist besser, wenn der Speicher reicht.
Was trotzdem ins Netz geht
| Datenverkehr | Wann | So schalten Sie ihn ab |
|---|---|---|
| Modellanfragen | Nie – sie gehen an localhost | — |
| Update-Prüfung | Höchstens einmal täglich, an die npm-Registry | OHARNESS_NO_UPDATE_CHECK=1 |
| Sitzungs-Sync | Nur bei Anmeldung mit einem OHarness-Konto | Nicht anmelden oder /sync off |
| MCP-Server | Nur die, die Sie konfigurieren | stdio-Server nutzen oder keine |
Wann ein lokales Modell die falsche Wahl ist
Lokale Modelle kosten nichts pro Token und sind privat, liegen bei langen Änderungen über mehrere Dateien aber hinter den besten gehosteten Modellen. Eine sinnvolle Aufteilung: lokal zum Erkunden, Lesen und für kleine Änderungen; ein gehostetes Modell für das große Refactoring – eingewechselt in derselben Sitzung mit /model, ohne dass etwas konvertiert wird. Modell mitten in der Sitzung wechseln zeigt, wie.
Häufige Fragen
Kann ein KI-Coding-Agent komplett offline laufen?
Ja. Wenn OHarness auf Ollama oder LM Studio zeigt, laufen Agent-Schleife, Tools und Modell auf Ihrem Rechner. Der einzige sonstige Datenverkehr ist eine tägliche npm-Update-Prüfung, die OHARNESS_NO_UPDATE_CHECK=1 abschaltet, und die Synchronisierung, die nur läuft, wenn Sie angemeldet sind.
Welche lokalen Modelle eignen sich für einen Coding-Agent?
Modelle, die Tool-Aufrufe unterstützen, idealerweise mit 20–30B Parametern oder mehr. Auf Code trainierte Modelle wie Qwen3-Coder und allgemeine Modelle wie gpt-oss funktionieren beide; Modelle ohne Tool-Aufrufe können Fragen beantworten, aber keine Dateien bearbeiten oder Befehle ausführen.
Brauche ich einen API-Schlüssel, um OHarness mit Ollama zu nutzen?
Nein. Die Anbieter ollama und lmstudio brauchen keinen Schlüssel, sind integriert und zeigen auf localhost:11434 und localhost:1234. Starten Sie den Server und führen Sie oharness -m ollama/<model> aus.
Warum vergisst eine lange Sitzung mit einem lokalen Modell frühere Arbeit?
Meist ist das Kontextfenster des Servers kleiner als das des Modells. Ollama stellt standardmäßig ein kurzes Fenster bereit; erhöhen Sie es mit OLLAMA_CONTEXT_LENGTH (oder num_ctx), dann fasst die Verdichtung von OHarness an einem sicheren Punkt zusammen, statt dass der Server stillschweigend abschneidet.