AWS Builder Center
De model IDs a políticas: el contrato que elige tu agente

De model IDs a políticas: el contrato que elige tu agente

Si cambias de modelo editando el agent loop, tu política vive en el código. Si la política vive en YAML, el agente solo ejecuta.

Series: LLM Portability (4 articles)

  1. …
  2. 4
    De model IDs a políticas: el contrato que elige tu agente This article
En el  mapa de capas  la decisión se arma así: Registry → Policy → Router → Contracts → Eval. Ese orden no cambió.
Lo que sí cambió es el foco de cada pieza. En  swappable no es portable  medimos comportamiento. En  capability routing  abrimos el router. Hoy me quedo en lo que ese router necesita para decidir: la policy del workflow.
Una aclaración útil, porque “contrato” se presta a confusión: esto no es el schema Pydantic del output. Pydantic pregunta si la respuesta tiene forma. La policy pregunta qué profile intentar, con qué presupuesto y qué priorizar cuando hay más de un candidato.

Capacidades no son políticas

El registry y la policy hablan idiomas distintos a propósito.
El registry declara lo que un modelo puede hacer:  tool-use ,  structured-output , clase de costo, clase de latencia.
La policy declara lo que este workflow necesita:  requires ,  optimize_for ,  max_cost_class , cadena de preferencia.

Si mezclas los dos, vuelves a hardcodear vendors. Si los separas, cambias intención en YAML y el agent loop ni se entera.

Lo que una policy puede expresar

En el lab, un workflow trae estos knobs:
Campo
Para qué sirve
 requires 
capacidades mínimas
 optimize_for 
 reliability ,  cost  o  latency 
 max_cost_class 
techo de presupuesto
 fallback 
orden explícito de preferencia
 max_attempts  /  retry_same_model 
límites de reintento (la mecánica profunda va aparte)
 system_prompt 
intención del dominio, no del vendor
El ejemplo clásico sigue siendo  incident_analysis :
incident_analysis:
requires:
- tool-use
- structured-output
optimize_for: reliability
max_cost_class: high
fallback:
- fast-general
- deep-reasoning
Fíjate lo que no aparece:  gpt-4o-mini ,  ollama ,  anthropic . Capacidades y preferencias, no vendors. El registry aporta candidatos; el router emite la  RoutingDecision .

Presupuesto: costo y latencia como inputs

Cuando medí Ollama vs GPT-4o-mini en el mismo workflow, el task score salió igual… y la latencia no. Ese gap no pide un  if provider == ...  en el agente. Pide una policy.
Con esos knobs, el ranking queda así:
  1. fuera quien no cumpla  requires ;
  1. fuera quien pase  max_cost_class ;
  1. si hay  fallback: , ese orden manda;
  1. el resto se ordena por  optimize_for .
 optimize_for: cost  empuja al  cost_class  más bajo.  optimize_for: latency  empuja al  latency_class  más bajo.
El presupuesto vive en configuración. El dominio sigue igual.

Reliability: una heurística, no una garantía

 optimize_for: reliability  en el lab no significa “este modelo nunca se equivoca”. Significa: prefiere sets de capacidades más ricos (y usa costo como proxy cuando hay empate).
Útil para rankear. Inútil como prueba de juicio.
Si quieres saber si la severidad se sostiene al cambiar de profile, vuelves al terreno del  artículo de portabilidad comportamental : eval harness y migration gate. La policy elige candidato. El eval dice si ese candidato es promocionable.

Fallback explícito: el orden que manda

Un detalle que conviene decir en voz alta, porque si no el demo “no funciona”:
Cuando la policy trae  fallback: [...] , ese orden es la señal primaria de ranking.
En  incident_analysis , aunque digas  optimize_for: reliability , la lista  fast-general  →  deep-reasoning  gana. Cambiar solo  optimize_for  no reordena esa cadena.
No es un bug. Es una decisión: a veces quieres una preferencia operativa explícita, no un sort automático.
La mecánica de reintentos y degradación (qué pasa cuando el primero falla de verdad) merece su propio espacio. Aquí la policy solo declara la cadena.

El demo: misma registry, dos policies

Para aislar el efecto de  optimize_for , uso dos workflows sin lista de fallback, sobre los mismos mocks:

incident_analysis_budget:
requires:
- tool-use
- structured-output
optimize_for: cost
max_cost_class: low

incident_analysis_deep:
requires:
- tool-use
- structured-output
optimize_for: reliability
max_cost_class: high
Misma registry. Cero cambios en el agente.
Workflow
Selected
 incident_analysis_budget 
 fast-general 
 incident_analysis_deep 
 deep-reasoning 
Para ver la decisión:
python -c "
from pathlib import Path
from src.models import load_model_registry
from src.policies import load_workflow_catalog
from src.router import CapabilityRouter

root = Path('.')
registry = load_model_registry(root / 'config' / 'models.yaml')
catalog = load_workflow_catalog(root / 'config' / 'workflows.yaml')
for name in ('incident_analysis_budget', 'incident_analysis_deep'):
d = CapabilityRouter().route(registry, catalog.get(name))
print(name, '->', d.selected.name)
print(d.reason)
"
O, si prefieres el flujo completo:
python run.py --workflow incident_analysis_budget --input examples/incident.json
python run.py --workflow incident_analysis_deep --input examples/incident.json
En los logs aparece el  routing_reason . No tienes que adivinar por qué salió ese profile.

Las policies también se testean

Si la selección es configuración, la configuración necesita tests.
En el lab ya están cubiertos el filtro por  max_cost_class , el orden de  fallback , el ranking por  optimize_for  cuando no hay fallback, el rechazo con  NoCompatibleModelError , y el par budget vs deep eligiendo profiles distintos.
Si la selección vive en YAML, esos tests son el contrato de que la decisión no se movió “porque sí”.

Lo que quiero que te lleves

  1. Registry = capacidades. Policy = intención. No las mezcles con el schema del output.
  1. Costo y latencia son knobs de policy, no  ifs  de provider.
  1. Reliability rankea; el eval valida.
  1. Si hay  fallback:  explícito, ese orden manda sobre  optimize_for .
  1. Misma registry, distinta policy, distinto profile. El agente no tiene que enterarse.
La preferencia de un workflow (costo, reliability, orden de fallback) no debería vivir al lado de un  model = "..." . Si vive ahí, no es policy: es deuda escondida en el loop.

Series: LLM Portability (4 articles)

  1. …
  2. 4
    De model IDs a políticas: el contrato que elige tu agente This article
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article