
De model IDs a políticas: el contrato que elige tu agente
Si cambias de modelo editando el agent loop, tu política vive en el código. Si la política vive en YAML, el agente solo ejecuta.
Series: LLM Portability (4 articles)
- …
- 4De model IDs a políticas: el contrato que elige tu agente This article
En el mapa de capas la decisión se arma así: Registry → Policy → Router → Contracts → Eval. Ese orden no cambió.
Lo que sí cambió es el foco de cada pieza. En swappable no es portable medimos comportamiento. En capability routing abrimos el router. Hoy me quedo en lo que ese router necesita para decidir: la policy del workflow.
Una aclaración útil, porque “contrato” se presta a confusión: esto no es el schema Pydantic del output. Pydantic pregunta si la respuesta tiene forma. La policy pregunta qué profile intentar, con qué presupuesto y qué priorizar cuando hay más de un candidato.
Capacidades no son políticas
El registry y la policy hablan idiomas distintos a propósito.
El registry declara lo que un modelo puede hacer:
tool-use , structured-output , clase de costo, clase de latencia.La policy declara lo que este workflow necesita:
requires , optimize_for , max_cost_class , cadena de preferencia.
Si mezclas los dos, vuelves a hardcodear vendors. Si los separas, cambias intención en YAML y el agent loop ni se entera.
Lo que una policy puede expresar
En el lab, un workflow trae estos knobs:
Campo | Para qué sirve |
|---|---|
requires | capacidades mínimas |
optimize_for | reliability , cost o latency |
max_cost_class | techo de presupuesto |
fallback | orden explícito de preferencia |
max_attempts / retry_same_model | límites de reintento (la mecánica profunda va aparte) |
system_prompt | intención del dominio, no del vendor |
El ejemplo clásico sigue siendo
incident_analysis :incident_analysis: requires: - tool-use - structured-output optimize_for: reliability max_cost_class: high fallback: - fast-general - deep-reasoningFíjate lo que no aparece:
gpt-4o-mini , ollama , anthropic . Capacidades y preferencias, no vendors. El registry aporta candidatos; el router emite la RoutingDecision .Presupuesto: costo y latencia como inputs
Cuando medí Ollama vs GPT-4o-mini en el mismo workflow, el task score salió igual… y la latencia no. Ese gap no pide un
if provider == ... en el agente. Pide una policy.Con esos knobs, el ranking queda así:
- fuera quien no cumpla
requires;
- fuera quien pase
max_cost_class;
- si hay
fallback:, ese orden manda;
- el resto se ordena por
optimize_for.
optimize_for: cost empuja al cost_class más bajo.
optimize_for: latency empuja al latency_class más bajo.El presupuesto vive en configuración. El dominio sigue igual.
Reliability: una heurística, no una garantía
optimize_for: reliability en el lab no significa “este modelo nunca se equivoca”. Significa: prefiere sets de capacidades más ricos (y usa costo como proxy cuando hay empate).Útil para rankear. Inútil como prueba de juicio.
Si quieres saber si la severidad se sostiene al cambiar de profile, vuelves al terreno del artículo de portabilidad comportamental : eval harness y migration gate. La policy elige candidato. El eval dice si ese candidato es promocionable.
Fallback explícito: el orden que manda
Un detalle que conviene decir en voz alta, porque si no el demo “no funciona”:
Cuando la policy trae
fallback: [...] , ese orden es la señal primaria de ranking.En
incident_analysis , aunque digas optimize_for: reliability , la lista fast-general → deep-reasoning gana. Cambiar solo optimize_for no reordena esa cadena.No es un bug. Es una decisión: a veces quieres una preferencia operativa explícita, no un sort automático.
La mecánica de reintentos y degradación (qué pasa cuando el primero falla de verdad) merece su propio espacio. Aquí la policy solo declara la cadena.
El demo: misma registry, dos policies
Para aislar el efecto de
optimize_for , uso dos workflows sin lista de fallback, sobre los mismos mocks:
incident_analysis_budget: requires: - tool-use - structured-output optimize_for: cost max_cost_class: low
incident_analysis_deep: requires: - tool-use - structured-output optimize_for: reliability max_cost_class: highMisma registry. Cero cambios en el agente.
Workflow | Selected |
|---|---|
incident_analysis_budget | fast-general |
incident_analysis_deep | deep-reasoning |
Para ver la decisión:
python -c "from pathlib import Pathfrom src.models import load_model_registryfrom src.policies import load_workflow_catalogfrom src.router import CapabilityRouter
root = Path('.')registry = load_model_registry(root / 'config' / 'models.yaml')catalog = load_workflow_catalog(root / 'config' / 'workflows.yaml')for name in ('incident_analysis_budget', 'incident_analysis_deep'): d = CapabilityRouter().route(registry, catalog.get(name)) print(name, '->', d.selected.name) print(d.reason)"O, si prefieres el flujo completo:
python run.py --workflow incident_analysis_budget --input examples/incident.jsonpython run.py --workflow incident_analysis_deep --input examples/incident.jsonEn los logs aparece el
routing_reason . No tienes que adivinar por qué salió ese profile.Las policies también se testean
Si la selección es configuración, la configuración necesita tests.
En el lab ya están cubiertos el filtro por
max_cost_class , el orden de fallback , el ranking por optimize_for cuando no hay fallback, el rechazo con NoCompatibleModelError , y el par budget vs deep eligiendo profiles distintos.Si la selección vive en YAML, esos tests son el contrato de que la decisión no se movió “porque sí”.
Lo que quiero que te lleves
- Registry = capacidades. Policy = intención. No las mezcles con el schema del output.
- Costo y latencia son knobs de policy, no
ifsde provider.
- Reliability rankea; el eval valida.
- Si hay
fallback:explícito, ese orden manda sobreoptimize_for.
- Misma registry, distinta policy, distinto profile. El agente no tiene que enterarse.
La preferencia de un workflow (costo, reliability, orden de fallback) no debería vivir al lado de un
model = "..." . Si vive ahí, no es policy: es deuda escondida en el loop.Series: LLM Portability (4 articles)
- …
- 4De model IDs a políticas: el contrato que elige tu agente This article
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article