vLLM: configurar el endpoint local

Tu propio servidor vLLM. Se ejecuta en tu propio equipo, así que no hay clave ni nada que pagar.

Lo que el harness ya sabe

Id del proveedorvllm
URL basehttp://localhost:8000/v1
ProtocoloChat completions compatible con OpenAI
Clave APINinguna: el endpoint es local.
Descubrimiento de modelosSí: la lista de modelos se le pide al endpoint en lugar de venir en el paquete.

Cómo conectarlo

Nada que configurar y ninguna clave que conseguir. Inicia el servidor en su puerto habitual y el proveedor aparece en el selector de modelos; el harness le pide su propia lista de modelos en lugar de traer una en el paquete.

Apuntarlo a otro sitio

Un host regional, un gateway o un servidor propio. Las sobrescrituras en ~/.oharness/config.json son por campo, así que cambiar el endpoint no obliga a repetir el resto del proveedor. Este es el bloque completo, con el valor predeterminado para que se vea la forma:

{
  "providers": {
    "vllm": {
      "baseUrl": "http://localhost:8000/v1"
    }
  }
}

Lo que obtienes en cualquier caso

El mismo bucle del agente, las mismas herramientas, los mismos servidores MCP y las mismas reglas de permisos, sea cual sea el proveedor de debajo; y cambiar entre ellos a mitad de sesión no convierte nada, porque el historial nunca se guarda en el formato de un proveedor. Qué es un harness de agentes explica por qué esa es la parte difícil, y la referencia de proveedores cubre el propio catálogo.

Los 34 proveedores · Instalar OHarness