AWS Builder Center
AWS Data & Analytics lo que no sabias: qué tecnología open source soporta en cada servicio

AWS Data & Analytics lo que no sabias: qué tecnología open source soporta en cada servicio

Descubre qué proyectos open source como Apache Kafka, Spark y Airflow están detrás de los servicios de datos de AWS, con una tabla de referencia completa.

Los servicios de Data & Analytics en la nube tienen un motor: el open source. Cuando en un proyecto tenemos que procesar millones de eventos por segundo, orquestar pipelines de datos o hacer cualquier tipo de consulta, es muy probable que estemos ejecutando, sin saberlo, proyectos como Apache Kafka, Apache Spark, Apache Airflow o Valkey. AWS se apoya en las capacidades de estos servicios en vez de reinventarlos, por eso los ofrece como servicios gestionados. Así nacen nombres como Amazon MSK (Apache Kafka), Amazon MWAA (Apache Airflow) o Amazon Managed Service for Apache Flink, donde el propio nombre especifica la tecnología.
La importancia del open source en la nube es grande: evita el vendor lock-in, ayuda a acelerar la innovación y reduce el riesgo al incorporar proyectos maduros y auditados por miles de colaboradores en todo el mundo.
Desde mi punto de vista, este modelo gestionado combina lo mejor de los dos mundos: la libertad y portabilidad del open source con la operación eficiente de un servicio en la nube. Por esto creo que ese mito que escuchaba en algunas empresas, que el open source es inseguro o inestable, no es cierto.
Les comparto una tabla con los servicios de Data y Analytics que he usado en algún momento de mi vida que están soportados por Open Source.
Servicio de AWS
Tecnología open source
Link del proyecto
Qué hace y caso de uso
Amazon MSK (Managed Streaming for Apache Kafka)
Apache Kafka
 https://kafka.apache.org 
Plataforma de streaming de eventos distribuida.
Amazon Managed Service for Apache Flink
Apache Flink
 https://flink.apache.org 
Motor de procesamiento de flujos de datos en tiempo real, con estado y baja latencia.
Amazon MWAA (Managed Workflows for Apache Airflow)
Apache Airflow
 https://airflow.apache.org 
Orquestador de flujos de trabajo (DAGs) definidos en Python para programar y monitorear pipelines.
AWS Glue
Apache Spark + Apache Hive
 https://spark.apache.org 
Motor de procesamiento distribuido en memoria para ETL a gran escala.
Amazon EMR
Ecosistema Apache Hadoop
 https://hadoop.apache.org 
Clústeres gestionados con Spark, Hive, HBase, Presto/Trino, etc. para big data.
Amazon Athena
Trino / Presto
 https://trino.io 
Motor de consultas SQL interactivo.
AWS Lake Formation
Apache Iceberg / Hudi / Delta Lake
 https://iceberg.apache.org 
Gobierno y permisos de un data lake sobre formatos de tabla abiertos con transacciones ACID.
Amazon Redshift
PostgreSQL
 https://www.postgresql.org 
Data warehouse columnar.
Amazon OpenSearch Service
OpenSearch (fork de Elasticsearch)
 https://opensearch.org 
Motor de búsqueda y análisis de texto/logs con dashboards de visualización.
Amazon Managed Grafana
Grafana
 https://grafana.com/oss/grafana 
Plataforma de visualización y dashboards de métricas desde múltiples fuentes.
Amazon Managed Service for Prometheus
Prometheus
 https://prometheus.io 
Base de datos de series de tiempo para métricas con el lenguaje de consulta PromQL.
AWS Glue Data Catalog
Apache Hive Metastore
 https://hive.apache.org 
Catálogo central de metadatos
Elasticache
Valkey
 https://valkey.io/ 
Almacén de datos llave/valor de alto rendimiento.
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article