vLLM: lokalen Endpunkt einrichten

Ihr eigener vLLM-Server. Alles läuft auf Ihrem eigenen Rechner, daher gibt es keinen Schlüssel und nichts zu bezahlen.

Was das Harness bereits weiß

Anbieter-IDvllm
Base-URLhttp://localhost:8000/v1
ProtokollOpenAI-kompatible Chat Completions
API-SchlüsselKeiner — der Endpunkt ist lokal.
ModellerkennungJa — die Modellliste wird beim Endpunkt erfragt statt mitgeliefert.

Anbinden

Nichts zu konfigurieren und kein Schlüssel zu besorgen. Starten Sie den Server auf seinem üblichen Port, und der Anbieter erscheint in der Modellauswahl; das Harness fragt ihn nach seiner eigenen Modellliste, statt eine mitzuliefern.

Auf einen anderen Endpunkt verweisen

Ein regionaler Host, ein Gateway oder ein eigener Server. Overrides in ~/.oharness/config.json gelten pro Feld, ein anderer Endpunkt bedeutet also nicht, den Rest des Anbieters neu anzugeben — das ist der vollständige Block, hier mit dem Standardwert, damit der Aufbau klar ist:

{
  "providers": {
    "vllm": {
      "baseUrl": "http://localhost:8000/v1"
    }
  }
}

Was Sie in jedem Fall bekommen

Dieselbe Agent-Schleife, dieselben Tools, dieselben MCP-Server und dieselben Berechtigungsregeln, egal welcher Anbieter darunter liegt — und ein Wechsel mitten in der Sitzung konvertiert nichts, weil der Verlauf nie im Format eines Anbieters gespeichert wird. Was ein Agent-Harness ist erklärt, warum das der schwierige Teil ist, und die Anbieter-Referenz behandelt den Katalog selbst.

Alle 34 Anbieter · OHarness installieren