AWS Builder Center

KEDA HTTP Add-on: de 0 a N pods según los pedidos por segundo

Cómo KEDA y su HTTP Add-on escalan una app de 0 a N pods según los pedidos por segundo, con el YAML real y el cold start medido. Parte 2.

DevOps Technical Leader @ Craftech
En la  parte 1  vimos por qué escalar una app web por CPU llega tarde y por qué el HPA no baja de 1 pod. Acá va cómo lo resolví en la demo de mi charla en el AWS Student Community Day en la UTN FRC: KEDA con el HTTP Add-on. Slides ->  https://lucasdevops.cloud/charlas/utn-frc-escalando-apps-http/ 

KEDA: escalar por eventos

KEDA escala tu app por lo que pasa afuera, no por la máquina: mensajes en una cola, una métrica, un horario o pedidos HTTP ( docs ). Tres ejemplos:
  • Cola: "hay 500 mensajes en Redis o SQS".
  • Horario: "de 9 a 18, mínimo 3 pods".
  • HTTP: "llegan 45 pedidos por segundo".
Los tres hablan del negocio. Además, KEDA hace el paso de 0 a 1 pod y después le pasa el escalado de 1 a N al HPA de siempre. Por eso puede apagar del todo una app que no recibe tráfico. Es un proyecto graduado de la  CNCF .
En la demo usé dos: la app de votación escala por pedidos HTTP y el worker que guarda los votos escala por el largo de la cola de Redis.

El HTTP Add-on: un interceptor delante de tu app

Para escalar por pedidos HTTP, KEDA suma el  HTTP Add-on . Su pieza central es el interceptor, un proxy que se pone entre el balanceador y tu app:
  1. El pedido llega al interceptor, no directo a la app.
  1. El interceptor cuenta los pedidos y le pasa la tasa a KEDA.
  1. KEDA calcula cuántos pods hacen falta y ajusta el Deployment.
  1. Si la app estaba en 0, el interceptor retiene el pedido hasta que el pod arranca y recién ahí lo deja pasar.
Lo último es lo que hace posible el scale to zero: nadie recibe un error, el primer pedido solo espera un poco más.
KEDA HTTP Add-on: el interceptor


El YAML que lo decide

Todo se configura con un  HTTPScaledObject . Este es el de la demo, recortado:
apiVersion: http.keda.sh/v1alpha1
kind: HTTPScaledObject
metadata:
name: vote-httpscaledobject
spec:
scaleTargetRef:
name: vote
kind: Deployment
apiVersion: apps/v1
service: vote
port: 80
replicas:
min: 0
max: 10
scaledownPeriod: 30
scalingMetric:
requestRate:
granularity: 1s
targetValue: 10
window: 60s
Cómo leerlo:
  •  min: 0 : sin tráfico, la app se apaga.
  •  max: 10 : el techo. También es el techo de tu factura.
  •  scaledownPeriod: 30 : segundos sin tráfico antes de bajar.
  •  targetValue: 10 : cada pod se banca 10 pedidos por segundo.
La cuenta es la misma idea que el HPA: si llegan 45 req/s, ⌈45 / 10⌉ = 5 pods. Si llegan 105, la cuenta da 11 pero se queda en 10 por el  max .
Ojo con  granularity . Ese  1s  no está de adorno: con otro valor,  targetValue  deja de significar pedidos por segundo y la app escala de más. Me pasó armando la demo y lo cuento en la parte 4.

El precio de escalar a 0: el cold start

El precio de escalar a 0: el cold start

Si la app está en 0, el primer pedido espera lo que tarda en arrancar un pod. En el ensayo de mi demo lo medí: 5,4 segundos de 0 a 1 pod, con el nodo ya creado. Si además hace falta un nodo nuevo, sumale unos 45 segundos más (de eso habla la parte 3).
Con carga de verdad, unos 100 req/s desde el panel de la demo, la app pasó de 0 a 10 réplicas en unos 70 segundos. Al cortar la carga volvió a 0 en unos 95.
Entonces, ¿cuándo conviene escalar a 0?
  • Sí: entornos de desarrollo y pruebas, APIs internas, herramientas, demos, apps de eventos con picos y silencios (inscripciones, votaciones).
  • No: lo que no puede esperar, como la home de un e-commerce, o apps que tardan mucho en arrancar. Ahí poné  min: 1  o más y KEDA igual escala por pedidos.

Lo que hay que mirar antes de usarlo en serio

  • El interceptor es una pieza más en el camino de cada pedido: hay que monitorearlo como a la app.
  • El  max  protege la factura, ponelo siempre.
  • Revisá en el  repo del add-on  en qué estado está y qué versión usás antes de llevarlo a producción. Yo usé la 0.15.
  • Desde la 0.14,  HTTPScaledObject  está marcado como deprecado en favor de  InterceptorRoute , aunque sigue soportado ( release 0.14.0 ). Para algo nuevo, mirá primero el recurso nuevo.
En la parte 3 te cuento cómo EKS Auto Mode arma el balanceador a partir de dos YAML y agrega nodos solo cuando los pods no entran.
Si querés probarlo, el repo levanta todo en minikube con un script:
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article