Agent kodowania AI w pełni offline z Ollama lub LM Studio

Zainstaluj OHarness, uruchom Ollama (port 11434) lub serwer LM Studio (port 1234) i wpisz oharness -m ollama/<model>. Oba środowiska to wbudowani dostawcy, którzy nie wymagają klucza, więc każde zapytanie do modelu zostaje na twoim komputerze.

Zaktualizowano

Czego potrzebujesz

  • Node 22.6 lub nowszy — dla CLI.
  • Ollama lub LM Studio z modelem obsługującym wywoływanie narzędzi. Agent, który nie potrafi wywoływać narzędzi, może o twoim kodzie tylko rozmawiać.
  • Wystarczająco dużo pamięci na model. Model do kodowania 20–30B to praktyczne minimum do pracy agentowej; mniejsze modele odpowiadają, ale gubią się w wieloetapowych edycjach.

Konfiguracja z Ollama

  1. Zainstaluj CLI.
  2. Pobierz model, który wywołuje narzędzia, na przykład qwen3-coder:30b lub gpt-oss:20b.
  3. Uruchom na nim agenta. Część przed pierwszym ukośnikiem to dostawca, reszta to nazwa modelu dokładnie w takiej postaci, w jakiej wyświetla ją Ollama.
npm install -g oharness
ollama pull qwen3-coder:30b
oharness -m ollama/qwen3-coder:30b

Nie ma klucza ani niczego do konfigurowania: dostawca ollama wskazuje na http://localhost:11434/v1 i pyta serwer o listę modeli, więc wszystko, co pobrałeś, pojawia się w /models.

Konfiguracja z LM Studio

Załaduj model w LM Studio i uruchom jego lokalny serwer (zakładka Developer lub lms server start). Identyfikatory modeli w LM Studio zawierają własny ukośnik i to nie problem — dostawcę oddziela tylko pierwszy ukośnik:

oharness -m lmstudio/qwen/qwen3-coder-30b

Daj modelowi wystarczająco dużo kontekstu

Sesje agenta są długie: każdy przeczytany plik i każdy wynik narzędzia wraca do kontekstu. Ollama udostępnia kontekst znacznie krótszy, niż obsługuje większość modeli, chyba że go zwiększysz, a gdy lokalny serwer nie podaje swojego okna, OHarness zakłada 128K — więc kompaktowanie uruchamia się później, niż serwer faktycznie obcina. Przed długą sesją zwiększ okno serwera:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

W LM Studio to samo ustawienie to suwak długości kontekstu przy ładowaniu modelu. 32K to rozsądne minimum do pracy agentowej; jeśli pamięć pozwala, więcej jest lepiej.

Co nadal korzysta z sieci

RuchKiedyJak wyłączyć
Zapytania do modeluNigdy — trafiają do localhost—
Sprawdzanie aktualizacjiNajwyżej raz dziennie, do rejestru npmOHARNESS_NO_UPDATE_CHECK=1
Synchronizacja sesjiTylko po zalogowaniu do konta OHarnessNie loguj się albo /sync off
Serwery MCPTylko te, które skonfigurujeszUżywaj serwerów stdio albo żadnych

Kiedy model lokalny to zły wybór

Modele lokalne są darmowe w przeliczeniu na token i prywatne, ale przy długich zmianach w wielu plikach ustępują najlepszym modelom hostowanym. Rozsądny podział: lokalny do eksploracji, czytania i drobnych edycji; hostowany do dużego refaktoringu — przełączany w tej samej sesji przez /model, co niczego nie konwertuje. Zmiana modelu w trakcie sesji opisuje, jak to zrobić.

Częste pytania

Czy agent kodowania AI może działać całkowicie offline?

Tak. Gdy OHarness jest skierowany na Ollama lub LM Studio, pętla agenta, narzędzia i model działają na twoim komputerze. Jedyny inny ruch to codzienne sprawdzanie aktualizacji w npm, które wyłącza OHARNESS_NO_UPDATE_CHECK=1, oraz synchronizacja, która działa tylko po zalogowaniu.

Które modele lokalne nadają się do agenta kodowania?

Modele obsługujące wywoływanie narzędzi, najlepiej o 20–30B parametrów lub więcej. Działają zarówno modele dostrojone do kodowania, jak Qwen3-Coder, jak i modele ogólne, jak gpt-oss; modele bez wywoływania narzędzi mogą odpowiadać na pytania, ale nie mogą edytować plików ani uruchamiać poleceń.

Czy do używania OHarness z Ollama potrzebuję klucza API?

Nie. Dostawcy ollama i lmstudio nie wymagają klucza i są wbudowani, wskazując na localhost:11434 i localhost:1234. Uruchom serwer i wpisz oharness -m ollama/<model>.

Dlaczego długa sesja z modelem lokalnym zapomina wcześniejszą pracę?

Zwykle okno kontekstu serwera jest mniejsze niż okno modelu. Ollama domyślnie udostępnia krótkie okno; zwiększ je przez OLLAMA_CONTEXT_LENGTH (lub num_ctx), a kompaktowanie OHarness podsumuje rozmowę w bezpiecznym miejscu, zamiast żeby serwer po cichu ją obcinał.

Powiązane