Introducción a los Data Lakes Parte 2

En el post anterior, se discutió qué es un Data Lake y por qué es importante en el ecosistema de datos actual. Ahora, se profundiza en los servicios de AWS necesarios para construir un Data Lake serverless y cómo orquestarlos. Los servicios fundamentales son:

1. Storage: Amazon S3 es el corazón del Storage. Almacena tanto datos crudos como procesados y su organización es crucial para el rendimiento y los costos. Se recomienda que todo el data lake se encuentre en un mismo bucket, ya que S3 tiene un límite de 100 bucket por cuenta.

2. Procesamiento: AWS Glue es el motor de transformación. Es una suite de servicios de data serverless que maneja descubrimiento de esquemas y transformaciones de datos. Los componentes principales son Glue Jobs, Glue Catalog y Glue Crawlers.

3. Catalogo: Glue Catalog es un metastore centralizado que actúa como un diccionario o catálogo de datos. Permite descubrir automáticamente la estructura de los datos almacenados en el storage.

4. Seguridad: Amazon S3 y AWS LakeFormation permiten gobernar los datos de manera segura. Se pueden habilitar versionado, configurar lifecycle policies para optimizar costos, habilitar encriptación server-side con KMS y replicar entre regiones para recuperación ante desastres.

5. Explotación: Amazon Athena permite consultar datos directamente desde S3 usando SQL estándar sin necesidad de provisionar servidores. Es pay-per-query, integrado con Glue Catalog, soporta múltiples formatos y proporciona particionamiento automático para optimizar la performance.