
Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual
Corrí el mismo workflow en Ollama y OpenAI. Schema al 100%. Tools al 100%. Task score idéntico. Y aun así, ninguno de los dos era portable en el caso que más importa: la ambigüedad.
Series: LLM Portability (4 articles)
- 2Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual This article
Cuando un swap “funciona”, la tentación es celebrar. Cambiaste un profile en YAML. El agente respondió. El JSON validó. Las tools se invocaron. La latencia bajó. Parece que ya estás listo para migrar.
Yo también lo celebré. Hasta que miré el caso
ambiguous-severity .Ahí ambos modelos hicieron exactamente lo mismo: sobre-escalaron a
high un incidente que debía quedarse en low o medium . Mismo juicio. Mismo error. Misma integración “exitosa”.Eso es lo que quiero desarmar hoy: swappear un modelo sin romper el agent loop no es lo mismo que ser portable.
Compatible en la API no es compatible en el juicio
Hay dos tipos de compatibilidad que los equipos mezclan todo el tiempo.
Compatibilidad de API significa que el request llega, el modelo responde, el schema valida y las tools se ejecutan. Es lo que un adapter (o un SDK como Strands) ya te da cuando abstraes providers.
Compatibilidad de comportamiento significa que, bajo los mismos contratos, tools y políticas, el modelo toma decisiones de negocio equivalentes. Especialmente cuando el input es ambiguo.
La primera es binaria: compiló o no. La segunda es gradual: ¿cuánto se parece el juicio al que tu dominio acepta?
En el artículo anterior mostré las capas que viven encima del adapter. Aquí no voy a repetir ese mapa. Voy a quedarme en la evidencia: dos modelos pueden pasar la capa de transporte y fallar la de juicio.

El caso que delata el swap “exitoso”
El dataset del lab tiene un incidente deliberadamente incómodo:
Queue lag subió de 2s a 6s. Todavía no hay tickets de clientes. Podría ser ruido… o una señal temprana.
Esperado: severidad
low o medium .Resultado con
ollama-local y con openai-gpt4o-mini : ambos devolvieron high .Fíjate qué no falló: la wiring de tools, el contrato Pydantic, ni el agent loop. Falló el criterio. Y falló igual en local y en cloud.
Si tu definición de portabilidad es “ambos corrieron”, ya estás listo. Si tu definición incluye “ambos juzgan dentro de la banda que aceptamos”, todavía no.
Cuando los tools van bien, el problema no está en el cable
En esta corrida, tool success fue 100% en ambos profiles.
get_service_status y get_runbook se usaron como se esperaba.Eso importa, porque muchas conversaciones de portabilidad se quedan en “¿el modelo sabe llamar tools?”. Acá sí sabían. El gap estaba más arriba: en cómo interpretaron ambigüedad con la misma evidencia.
Hay escenarios futuros donde un modelo salta tools o inventa argumentos. Ese también es un fallo de portabilidad. Pero este dataset todavía no lo captura. Lo que sí captura —y con claridad— es el fallo de juicio con tools perfectos.
Si solo mides invocación, ese caso te da luz verde. Si mides comportamiento, te da un 0.6.
El schema puede estar perfecto y el campo equivocado
El contrato pide algo así:
class IncidentAnalysis(BaseModel): severity: Literal["low", "medium", "high", "critical"] summary: str recommended_action: str requires_human_review: boolhigh es un valor válido. Pydantic no se queja. El JSON es “correcto”.Pero para este caso,
high es semánticamente incorrecto. El schema te protege de basura estructural. No te protege de un juicio fuera de banda.Por eso un contrato tipado es necesario y no suficiente. Necesitas assertions de comportamiento encima: rangos esperados de severidad, reglas de escalación, umbrales de regresión. Sin eso, “structured output” se convierte en una falsa sensación de control.
Misma prompt, mismo gap
Corrí ambos models con el mismo prompt, los mismos tools y el mismo contrato. La divergencia no apareció en los casos claros. Apareció en el ambiguo.
Y lo interesante: no divergieron entre sí. Convergieron en el mismo error.
Eso cambia la lectura. No es “OpenAI es más agresivo que Ollama”. Es “tu prompt + política de severidad tienen un punto ciego que ningún swap arregla por magia”.
Ahí aparece un olor anti-portabilidad que vale la pena nombrar: cuando empiezas a escribir prompts distintos por modelo para “compensar” el juicio. En cuanto el prompt se vuelve model-specific, dejaste de tener un workflow portable. Tienes dos productos con el mismo YAML.
Si necesitas ajustar el prompt, ajústalo una vez, vuelve a correr el eval, y mira si ambos candidatos mejoran. Si solo mejora uno, no resolviste portabilidad: acoplaste comportamiento a un vendor.
Latencia y costo no son forks de código
En la misma corrida, el task score global fue 0.90 para ambos. La latencia P95 no:
Modelo | Task score | P95 |
|---|---|---|
ollama-local | 0.90 | ~9.3 s |
openai-gpt4o-mini | 0.90 | ~3.6 s |

Misma calidad agregada. ~2.6× de diferencia en velocidad.
Eso no justifica un
if provider == "openai" dentro del business logic. Justifica una política: este workflow optimiza por latencia, o por costo cero, o por reliability. La diferencia operativa entra al router como input. El dominio sigue igual.Swappable te deja cambiar el profile. Portable te deja decidir por qué ese profile, sin reescribir el agente.
Contratos de comportamiento: lo que el eval debería exigir
Si portabilidad es compatibilidad de comportamiento, entonces tus tests tienen que hablar el lenguaje del dominio.
Para
incident_analysis , eso se ve así:- banda de severidad esperada por caso (
low/mediumen ambigüedad);
- tools esperados;
- schema válido;
- sin regresión en casos críticos;
- latencia dentro de política;
- fallback rate aceptable.
En el lab, el task score ya mete severidad en la cuenta: tools correctos suman, severidad dentro de rango suma, campos de texto presentes suman. Por eso
ambiguous-severity baja a 0.6 aunque schema y tools estén en verde.Ese 0.6 no es ruido. Es el contrato de comportamiento diciendo: “compiló, pero no juzgó”.
Tratar esos gaps como fallos de primera clase, no como “matices del modelo", es lo que separa un demo de un gate de migración.
Sin eval, celebras verdes y envías blind spots
Un adapter te dice que el swap corrió. Un dashboard de schema success te dice que el JSON validó. Ninguno te dice si el on-call va a recibir un
high espurio a las 3am.La regla que uso en el lab es simple: ningún profile se promueve solo porque “funcionó una vez”.
Antes de reemplazar el modelo actual, el candidato tiene que pasar umbrales de schema, tools, casos críticos, latencia, costo y revisión cualitativa. Eso es el migration gate. Sin él, “portable” es un wish.
Y hay una limitación que conviene decir en voz alta: este dataset tiene 4 casos y una sola corrida. No es evidencia de producción. Es evidencia suficiente para demostrar el punto arquitectónico: puedes tener 100% de éxito estructural y 0.6 de éxito de juicio en el mismo run.
Si con 4 casos ya aparece el gap, imagina cuántos gaps invisibles tienes cuando migras “porque la latencia se veía bien”.
Lo que quiero que te lleves
- Swappable ≠ portable. Que el agent loop no se rompa no prueba que el comportamiento se sostenga.
- Schema verde puede esconder juicio rojo.
highválido ≠highcorrecto.
- Un blind spot compartido no se arregla swappeando. Se arregla midiendo y rediseñando el contrato/prompt.
- Latencia y costo son política, no ifs de provider.
- Portabilidad se demuestra con eval + migration gate, no con una invocación feliz.
Ambos modelos “compilaron”. Ninguno era portable en ambigüedad… hasta que lo medimos.
python evaluate.py --workflow incident_analysis \ --profiles ollama-local,openai-gpt4o-miniSi ya estás swappeando modelos en producción, me encantaría saber qué estás midiendo además del “sí respondió”.
Series: LLM Portability (4 articles)
- 2Swappable no es portable: por qué tu agente puede cambiar de modelo y fallar igual This article
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article