Kör en AI-kodagent helt offline med Ollama eller LM Studio

Installera OHarness, starta Ollama (port 11434) eller LM Studios server (port 1234) och kör oharness -m ollama/<model>. Båda körtiderna är inbyggda leverantörer som inte behöver någon nyckel, så varje modellanrop stannar på din dator.

Uppdaterad

Vad du behöver

  • Node 22.6 eller senare, för CLI:t.
  • Ollama eller LM Studio, med en modell som stöder verktygsanrop. En agent som inte kan anropa verktyg kan bara prata om din kod.
  • Tillräckligt med minne för modellen. En kodmodell på 20–30B är det praktiska golvet för agentarbete; mindre modeller svarar, men tappar tråden i ändringar i flera steg.

Kom igång med Ollama

  1. Installera CLI:t.
  2. Hämta en modell som anropar verktyg, till exempel qwen3-coder:30b eller gpt-oss:20b.
  3. Starta agenten på den. Delen före det första snedstrecket är leverantören, resten är modellnamnet exakt som Ollama listar det.
npm install -g oharness
ollama pull qwen3-coder:30b
oharness -m ollama/qwen3-coder:30b

Det finns ingen nyckel och inget att konfigurera: leverantören ollama pekar mot http://localhost:11434/v1 och frågar servern efter dess modellista, så allt du har hämtat syns under /models.

Kom igång med LM Studio

Ladda en modell i LM Studio och starta dess lokala server (fliken Developer, eller lms server start). Modell-id:n i LM Studio innehåller ett eget snedstreck, vilket går bra — bara det första snedstrecket skiljer ut leverantören:

oharness -m lmstudio/qwen/qwen3-coder-30b

Ge modellen tillräckligt med kontext

Agentsessioner är långa: varje läst fil och varje verktygsresultat går tillbaka in i kontexten. Ollama serverar en kontext som är mycket kortare än vad de flesta modeller stöder om du inte höjer den, och när en lokal server inte rapporterar sitt fönster antar OHarness 128K — så komprimeringen slår till senare än servern faktiskt trunkerar. Höj serverns fönster före en lång session:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

I LM Studio är samma inställning reglaget för kontextlängd när modellen laddas. 32K är ett fungerande minimum för agentarbete; mer är bättre om minnet räcker.

Vad som fortfarande använder nätverket

TrafikNärHur du stänger av den
ModellanropAldrig — de går till localhost—
UppdateringskontrollHögst en gång om dagen, till npm-registretOHARNESS_NO_UPDATE_CHECK=1
SessionssynkroniseringBara när du är inloggad på ett OHarness-kontoLogga inte in, eller /sync off
MCP-servrarBara de du konfigurerarAnvänd stdio-servrar, eller inga

När en lokal modell är fel val

Lokala modeller är gratis per token och privata, och de ligger efter de bästa hostade modellerna på långa ändringar i flera filer. En rimlig uppdelning: lokalt för utforskning, läsning och små ändringar; en hostad modell för den stora refaktoreringen — bytt i samma session med /model, som inte konverterar något. Byta modell mitt i en session visar hur.

Vanliga frågor

Kan en AI-kodagent köras helt offline?

Ja. Med OHarness pekad mot Ollama eller LM Studio körs agentloopen, verktygen och modellen alla på din dator. Den enda andra trafiken är en uppdateringskontroll mot npm en gång om dagen, som OHARNESS_NO_UPDATE_CHECK=1 stänger av, och synkronisering, som bara körs när du loggar in.

Vilka lokala modeller fungerar för en kodagent?

Modeller som stöder verktygsanrop, helst med 20–30B parametrar eller mer. Kodtränade modeller som Qwen3-Coder och generella modeller som gpt-oss fungerar båda; modeller utan verktygsanrop kan svara på frågor men kan inte redigera filer eller köra kommandon.

Behöver jag en API-nyckel för att använda OHarness med Ollama?

Nej. Leverantörerna ollama och lmstudio behöver ingen nyckel och är inbyggda, och pekar mot localhost:11434 och localhost:1234. Starta servern och kör oharness -m ollama/<model>.

Varför glömmer en lång session med en lokal modell tidigare arbete?

Oftast är serverns kontextfönster mindre än modellens. Ollama serverar ett kort fönster som standard; höj det med OLLAMA_CONTEXT_LENGTH (eller num_ctx), så sammanfattar OHarness komprimering vid en säker punkt i stället för att servern trunkerar i tysthet.

Relaterat