vLLM: konfigurera lokal endpoint
Din egen vLLM-server. Den körs på din egen dator, så det finns ingen nyckel och inget att betala.
Det harnessen redan vet
| Leverantörs-id | vllm |
| Bas-URL | http://localhost:8000/v1 |
| Protokoll | OpenAI-kompatibla chat completions |
| API-nyckel | Ingen — endpointen är lokal. |
| Modellupptäckt | Ja — modellistan efterfrågas hos endpointen i stället för att skickas med. |
Ansluta den
Inget att konfigurera och ingen nyckel att skaffa. Starta servern på dess vanliga port så dyker leverantören upp i modellväljaren; harnessen frågar den efter dess egen modellista i stället för att skicka med en.
Peka den någon annanstans
En regional värd, en gateway eller en egen server. Åsidosättningar i ~/.oharness/config.json gäller per fält, så att ändra endpointen betyder inte att du måste ange resten av leverantören igen — det här är hela blocket, visat med standardvärdet så att formen blir tydlig:
{
"providers": {
"vllm": {
"baseUrl": "http://localhost:8000/v1"
}
}
}Det du får oavsett
Samma agentloop, samma verktyg, samma MCP-servrar och samma behörighetsregler, vilken leverantör som än ligger under — och att byta mellan dem mitt i en session konverterar ingenting, eftersom historiken aldrig sparas i en leverantörs format. Vad en agent-harness är förklarar varför det är den svåra delen, och referensen för leverantörer går igenom själva katalogen.