Een AI-coding-agent volledig offline draaien met Ollama of LM Studio

Installeer OHarness, start Ollama (poort 11434) of de server van LM Studio (poort 1234) en draai oharness -m ollama/<model>. Beide runtimes zijn ingebouwde aanbieders die geen sleutel nodig hebben, dus elk modelverzoek blijft op je eigen machine.

Bijgewerkt op

Wat je nodig hebt

  • Node 22.6 of nieuwer, voor de CLI.
  • Ollama of LM Studio, met een model dat tool-aanroepen ondersteunt. Een agent die geen tools kan aanroepen, kan alleen over je code praten.
  • Genoeg geheugen voor het model. Een codeermodel van 20–30B is in de praktijk het minimum voor agentwerk; kleinere modellen geven wel antwoord, maar raken het spoor bijster bij wijzigingen in meerdere stappen.

Instellen met Ollama

  1. Installeer de CLI.
  2. Haal een model op dat tools aanroept, bijvoorbeeld qwen3-coder:30b of gpt-oss:20b.
  3. Start de agent erop. Het deel vóór de eerste slash is de aanbieder, de rest is de modelnaam precies zoals Ollama die toont.
npm install -g oharness
ollama pull qwen3-coder:30b
oharness -m ollama/qwen3-coder:30b

Er is geen sleutel en niets om te configureren: de aanbieder ollama wijst naar http://localhost:11434/v1 en vraagt de server om de modellijst, dus alles wat je hebt opgehaald verschijnt onder /models.

Instellen met LM Studio

Laad een model in LM Studio en start de lokale server (het tabblad Developer, of lms server start). Model-id's van LM Studio bevatten zelf een slash, en dat is prima — alleen de eerste slash scheidt de aanbieder:

oharness -m lmstudio/qwen/qwen3-coder-30b

Geef het model genoeg context

Agentsessies zijn lang: elk gelezen bestand en elk toolresultaat gaat terug de context in. Ollama levert een veel kortere context dan de meeste modellen ondersteunen, tenzij je die verhoogt, en als een lokale server zijn venster niet meldt, gaat OHarness uit van 128K — dus compactie slaat later toe dan de server in werkelijkheid afkapt. Verhoog het venster van de server vóór een lange sessie:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

In LM Studio is dezelfde instelling de schuifregelaar voor de contextlengte bij het laden van het model. 32K is een werkbaar minimum voor agentwerk; meer is beter als het geheugen het toelaat.

Wat nog wel het netwerk gebruikt

VerkeerWanneerHoe je het uitzet
ModelverzoekenNooit — ze gaan naar localhost—
UpdatecontroleHooguit één keer per dag, naar de npm-registryOHARNESS_NO_UPDATE_CHECK=1
SessiesynchronisatieAlleen als je bent ingelogd op een OHarness-accountLog niet in, of /sync off
MCP-serversAlleen de servers die je zelf configureertGebruik stdio-servers, of geen

Wanneer een lokaal model de verkeerde keuze is

Lokale modellen zijn gratis per token en privé, en ze blijven achter bij de beste gehoste modellen als het gaat om lange wijzigingen in meerdere bestanden. Een redelijke verdeling: lokaal voor verkennen, lezen en kleine wijzigingen; een gehost model voor de grote refactor — gewisseld in dezelfde sessie met /model, waarbij niets wordt geconverteerd. Midden in een sessie van model wisselen legt uit hoe.

Veelgestelde vragen

Kan een AI-coding-agent volledig offline draaien?

Ja. Met OHarness gekoppeld aan Ollama of LM Studio draaien de agent-lus, de tools en het model allemaal op je eigen machine. Het enige andere verkeer is een dagelijkse updatecontrole bij npm, die je uitzet met OHARNESS_NO_UPDATE_CHECK=1, en synchronisatie, die alleen draait als je inlogt.

Welke lokale modellen werken voor een AI-coding-agent?

Modellen die tool-aanroepen ondersteunen, bij voorkeur met 20–30B parameters of meer. Op code getrainde modellen zoals Qwen3-Coder en algemene modellen zoals gpt-oss werken allebei; modellen zonder tool-aanroepen kunnen vragen beantwoorden, maar geen bestanden bewerken of commando's uitvoeren.

Heb ik een API-sleutel nodig om OHarness met Ollama te gebruiken?

Nee. De aanbieders ollama en lmstudio hebben geen sleutel nodig en zijn ingebouwd; ze wijzen naar localhost:11434 en localhost:1234. Start de server en draai oharness -m ollama/<model>.

Waarom vergeet een lange sessie met een lokaal model eerder werk?

Meestal is het contextvenster van de server kleiner dan dat van het model. Ollama levert standaard een kort venster; verhoog het met OLLAMA_CONTEXT_LENGTH (of num_ctx), dan vat de compactie van OHarness samen op een veilig punt in plaats van dat de server stilletjes afkapt.

Gerelateerd