vLLM : configuration de l'endpoint local

Votre propre serveur vLLM. Il tourne sur votre propre machine : pas de clé, rien à payer.

Ce que le harnais connaît déjà

Identifiant du fournisseurvllm
URL de basehttp://localhost:8000/v1
ProtocoleChat completions compatible OpenAI
Clé APIAucune — l'endpoint est local.
Découverte des modèlesOui — la liste des modèles est demandée à l'endpoint plutôt que livrée avec le harnais.

Le connecter

Rien à configurer, aucune clé à obtenir. Démarrez le serveur sur son port habituel et le fournisseur apparaît dans le sélecteur de modèles ; le harnais lui demande sa propre liste de modèles au lieu d'en livrer une.

Le pointer ailleurs

Un hôte régional, une passerelle ou votre propre serveur. Les surcharges dans ~/.oharness/config.json s'appliquent champ par champ : changer d'endpoint n'oblige pas à redéclarer le reste du fournisseur. Voici le bloc complet, avec la valeur par défaut pour que la structure soit claire :

{
  "providers": {
    "vllm": {
      "baseUrl": "http://localhost:8000/v1"
    }
  }
}

Ce que vous obtenez dans tous les cas

La même boucle d'agent, les mêmes outils, les mêmes serveurs MCP et les mêmes règles de permission, quel que soit le fournisseur sous-jacent — et passer de l'un à l'autre en cours de session ne convertit rien, car l'historique n'est jamais stocké au format d'un fournisseur. Ce qu'est un harnais d'agent explique pourquoi c'est la partie difficile, et la référence des fournisseurs décrit le catalogue lui-même.

Les 34 fournisseurs · Installer OHarness