vLLM: lokaal endpoint instellen
Je eigen vLLM-server. Het draait op je eigen machine, dus er is geen sleutel en niets te betalen.
Wat het harness al weet
| Aanbieder-id | vllm |
| Basis-URL | http://localhost:8000/v1 |
| Protocol | OpenAI-compatibele chat completions |
| API-sleutel | Geen — het endpoint is lokaal. |
| Modeldetectie | Ja — de modellijst wordt bij het endpoint opgevraagd in plaats van meegeleverd. |
Verbinden
Niets in te stellen en geen sleutel nodig. Start de server op zijn gebruikelijke poort en de aanbieder verschijnt in de modelkiezer; het harness vraagt hem om zijn eigen modellijst in plaats van er een mee te leveren.
Ergens anders naartoe laten wijzen
Een regionale host, een gateway of een eigen server. Overrides in ~/.oharness/config.json werken per veld, dus het endpoint wijzigen betekent niet dat je de rest van de aanbieder opnieuw moet opgeven — dit is het volledige blok, met de standaardwaarde ingevuld zodat de vorm duidelijk is:
{
"providers": {
"vllm": {
"baseUrl": "http://localhost:8000/v1"
}
}
}Wat je hoe dan ook krijgt
Dezelfde agent-lus, dezelfde tools, dezelfde MCP-servers en dezelfde permissieregels, welke aanbieder er ook onder zit — en midden in een sessie tussen ze wisselen zet niets om, omdat de geschiedenis nooit in de vorm van een leverancier wordt opgeslagen. Wat een agent-harness is legt uit waarom dat het lastige deel is, en de referentie voor aanbieders behandelt de catalogus zelf.