AWS Builder Center
Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual

Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual

Corrí el mismo workflow en Ollama y OpenAI. Schema al 100%. Tools al 100%. Task score idéntico. Y aun así, ninguno de los dos era portable en el caso que más importa: la ambigüedad.

Series: LLM Portability (4 articles)

  1. 2
    Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual This article
Cuando un swap “funciona”, la tentación es celebrar. Cambiaste un profile en YAML. El agente respondió. El JSON validó. Las tools se invocaron. La latencia bajó. Parece que ya estás listo para migrar.
Yo también lo celebré. Hasta que miré el caso  ambiguous-severity .
Ahí ambos modelos hicieron exactamente lo mismo: sobre-escalaron a  high  un incidente que debía quedarse en  low  o  medium . Mismo juicio. Mismo error. Misma integración “exitosa”.
Eso es lo que quiero desarmar hoy: swappear un modelo sin romper el agent loop no es lo mismo que ser portable.

Compatible en la API no es compatible en el juicio

Hay dos tipos de compatibilidad que los equipos mezclan todo el tiempo.
Compatibilidad de API significa que el request llega, el modelo responde, el schema valida y las tools se ejecutan. Es lo que un adapter (o un SDK como Strands) ya te da cuando abstraes providers.
Compatibilidad de comportamiento significa que, bajo los mismos contratos, tools y políticas, el modelo toma decisiones de negocio equivalentes. Especialmente cuando el input es ambiguo.
La primera es binaria: compiló o no. La segunda es gradual: ¿cuánto se parece el juicio al que tu dominio acepta?
En  el artículo anterior  mostré las capas que viven encima del adapter. Aquí no voy a repetir ese mapa. Voy a quedarme en la evidencia: dos modelos pueden pasar la capa de transporte y fallar la de juicio.


El caso que delata el swap “exitoso”

El dataset del lab tiene un incidente deliberadamente incómodo:
Queue lag subió de 2s a 6s. Todavía no hay tickets de clientes. Podría ser ruido… o una señal temprana.
Esperado: severidad  low  o  medium .
Resultado con  ollama-local  y con  openai-gpt4o-mini : ambos devolvieron  high .
Fíjate qué no falló: la wiring de tools, el contrato Pydantic, ni el agent loop. Falló el criterio. Y falló igual en local y en cloud.
Si tu definición de portabilidad es “ambos corrieron”, ya estás listo. Si tu definición incluye “ambos juzgan dentro de la banda que aceptamos”, todavía no.

Cuando los tools van bien, el problema no está en el cable

En esta corrida, tool success fue 100% en ambos profiles.  get_service_status  y  get_runbook  se usaron como se esperaba.
Eso importa, porque muchas conversaciones de portabilidad se quedan en “¿el modelo sabe llamar tools?”. Acá sí sabían. El gap estaba más arriba: en cómo interpretaron ambigüedad con la misma evidencia.
Hay escenarios futuros donde un modelo salta tools o inventa argumentos. Ese también es un fallo de portabilidad. Pero este dataset todavía no lo captura. Lo que sí captura —y con claridad— es el fallo de juicio con tools perfectos.
Si solo mides invocación, ese caso te da luz verde. Si mides comportamiento, te da un 0.6.

El schema puede estar perfecto y el campo equivocado

El contrato pide algo así:
class IncidentAnalysis(BaseModel):
severity: Literal["low", "medium", "high", "critical"]
summary: str
recommended_action: str
requires_human_review: bool
 high  es un valor válido. Pydantic no se queja. El JSON es “correcto”.
Pero para este caso,  high  es semánticamente incorrecto. El schema te protege de basura estructural. No te protege de un juicio fuera de banda.
Por eso un contrato tipado es necesario y no suficiente. Necesitas assertions de comportamiento encima: rangos esperados de severidad, reglas de escalación, umbrales de regresión. Sin eso, “structured output” se convierte en una falsa sensación de control.

Misma prompt, mismo gap

Corrí ambos models con el mismo prompt, los mismos tools y el mismo contrato. La divergencia no apareció en los casos claros. Apareció en el ambiguo.
Y lo interesante: no divergieron entre sí. Convergieron en el mismo error.
Eso cambia la lectura. No es “OpenAI es más agresivo que Ollama”. Es “tu prompt + política de severidad tienen un punto ciego que ningún swap arregla por magia”.
Ahí aparece un olor anti-portabilidad que vale la pena nombrar: cuando empiezas a escribir prompts distintos por modelo para “compensar” el juicio. En cuanto el prompt se vuelve model-specific, dejaste de tener un workflow portable. Tienes dos productos con el mismo YAML.
Si necesitas ajustar el prompt, ajústalo una vez, vuelve a correr el eval, y mira si ambos candidatos mejoran. Si solo mejora uno, no resolviste portabilidad: acoplaste comportamiento a un vendor.

Latencia y costo no son forks de código

En la misma corrida, el task score global fue 0.90 para ambos. La latencia P95 no:
Modelo
Task score
P95
ollama-local
0.90
~9.3 s
openai-gpt4o-mini
0.90
~3.6 s

Misma calidad agregada. ~2.6× de diferencia en velocidad.
Eso no justifica un  if provider == "openai"  dentro del business logic. Justifica una política: este workflow optimiza por latencia, o por costo cero, o por reliability. La diferencia operativa entra al router como input. El dominio sigue igual.
Swappable te deja cambiar el profile. Portable te deja decidir por qué ese profile, sin reescribir el agente.

Contratos de comportamiento: lo que el eval debería exigir

Si portabilidad es compatibilidad de comportamiento, entonces tus tests tienen que hablar el lenguaje del dominio.
Para  incident_analysis , eso se ve así:
  • banda de severidad esperada por caso ( low / medium  en ambigüedad);
  • tools esperados;
  • schema válido;
  • sin regresión en casos críticos;
  • latencia dentro de política;
  • fallback rate aceptable.
En el lab, el task score ya mete severidad en la cuenta: tools correctos suman, severidad dentro de rango suma, campos de texto presentes suman. Por eso  ambiguous-severity  baja a 0.6 aunque schema y tools estén en verde.
Ese 0.6 no es ruido. Es el contrato de comportamiento diciendo: “compiló, pero no juzgó”.
Tratar esos gaps como fallos de primera clase, no como “matices del modelo", es lo que separa un demo de un gate de migración.

Sin eval, celebras verdes y envías blind spots

Un adapter te dice que el swap corrió. Un dashboard de schema success te dice que el JSON validó. Ninguno te dice si el on-call va a recibir un  high  espurio a las 3am.
La regla que uso en el lab es simple: ningún profile se promueve solo porque “funcionó una vez”.
Antes de reemplazar el modelo actual, el candidato tiene que pasar umbrales de schema, tools, casos críticos, latencia, costo y revisión cualitativa. Eso es el migration gate. Sin él, “portable” es un wish.
Y hay una limitación que conviene decir en voz alta: este dataset tiene 4 casos y una sola corrida. No es evidencia de producción. Es evidencia suficiente para demostrar el punto arquitectónico: puedes tener 100% de éxito estructural y 0.6 de éxito de juicio en el mismo run.
Si con 4 casos ya aparece el gap, imagina cuántos gaps invisibles tienes cuando migras “porque la latencia se veía bien”.

Lo que quiero que te lleves

  1. Swappable ≠ portable. Que el agent loop no se rompa no prueba que el comportamiento se sostenga.
  1. Schema verde puede esconder juicio rojo.  high  válido ≠  high  correcto.
  1. Un blind spot compartido no se arregla swappeando. Se arregla midiendo y rediseñando el contrato/prompt.
  1. Latencia y costo son política, no ifs de provider.
  1. Portabilidad se demuestra con eval + migration gate, no con una invocación feliz.
Ambos modelos “compilaron”. Ninguno era portable en ambigüedad… hasta que lo medimos.
python evaluate.py --workflow incident_analysis \
--profiles ollama-local,openai-gpt4o-mini
Si ya estás swappeando modelos en producción, me encantaría saber qué estás midiendo además del “sí respondió”.

Series: LLM Portability (4 articles)

  1. 2
    Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual This article
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article