Senior AWS Data Engineer – Data Migration & Automation

Buscamos un Senior AWS Data Engineer / Data Migration & Automation Engineer con experiencia sólida en ingeniería de datos, migración de bases de datos, desarrollo y transformación de procesos ETL/ELT y automatización de soluciones sobre AWS.

La persona será responsable de llevar procesos existentes de bases de datos, SQL y ETLs hacia AWS, asegurando que la migración sea técnicamente correcta, automatizada, trazable, escalable y operable en los diferentes ambientes.

Un aspecto fundamental del rol es que la solución no quede únicamente desarrollada, sino que todo el ciclo de desarrollo y despliegue quede automatizado mediante GitHub y GitHub Actions, siguiendo buenas prácticas de CI/CD.

1. Responsabilidades principales

Migración de bases de datos

• Analizar bases de datos y plataformas existentes para identificar estructuras, dependencias, volumen, complejidad y riesgos de migración.
• Diseñar y ejecutar estrategias de migración hacia AWS.
• Configurar y operar AWS Database Migration Service (AWS DMS) para migraciones y replicaciones.
• Gestionar cargas iniciales, cargas incrementales y procesos de sincronización.
• Participar en actividades de cutover, validación y estabilización de las plataformas migradas.
• Realizar troubleshooting de errores de migración, conectividad, rendimiento y consistencia de datos.

SQL y bases de datos

• Desarrollar y mantener SQL avanzado.
• Analizar y adaptar queries, vistas, stored procedures, funciones y procesos SQL existentes.
• Identificar diferencias entre motores de bases de datos origen y destino.
• Optimizar consultas y procesos para mejorar rendimiento.
• Diseñar mecanismos de validación y reconciliación de información entre origen y destino.

ETL / ELT y AWS Glue

• Analizar procesos ETL existentes y comprender su lógica funcional y técnica.
• Migrar y rediseñar procesos ETL/ELT para ejecutarse sobre AWS.
• Desarrollar pipelines utilizando AWS Glue.
• Crear y administrar Glue Jobs, Crawlers, Workflows y Glue Data Catalog.
• Desarrollar transformaciones utilizando Python y/o PySpark.
• Diseñar procesos de ingesta, transformación y carga sobre S3 y otros servicios AWS.
• Automatizar la ejecución, dependencia y orquestación de los pipelines.
• Implementar controles de calidad y validaciones dentro de los procesos de datos.

Automatización y CI/CD

• Utilizar GitHub como plataforma de control de versiones y colaboración.
• Definir y mantener estrategias de branching, pull requests y code reviews.
• Diseñar e implementar pipelines de GitHub Actions.
• Automatizar procesos de build, testing, packaging y deployment.

Automatizar despliegues hacia los diferentes ambientes

DEV, QA/UAT y PROD.

• Gestionar variables, secrets y configuraciones de forma segura.
• Implementar mecanismos de rollback y control de versiones.
• Integrar GitHub Actions con AWS para automatizar el despliegue de componentes de datos y ETL.
• Reducir al mínimo las actividades manuales en el ciclo de desarrollo y operación.

Infraestructura y operación AWS

• Implementar infraestructura y configuraciones mediante Infrastructure as Code.
• Trabajar preferentemente con Terraform y/o AWS CloudFormation.
• Configurar monitorización, logging y alertas utilizando Amazon CloudWatch.
• Implementar y operar servicios de AWS orientados a datos, automatización y procesamiento.
• Participar en el diseño de soluciones escalables, seguras y mantenibles

Requerimientos técnicos

AWS

Experiencia práctica y demostrable con

• AWS Glue
• AWS DMS
• Amazon S3
• Amazon CloudWatch
• AWS IAM
• AWS Lambda
• AWS Step Functions y/o herramientas de orquestación equivalentes
• EventBridge y/o mecanismos de automatización de eventos

Data Engineering

• ETL / ELT
• Data pipelines
• Data migration
• Data transformation
• Data validation y reconciliation
• Data quality
• Procesamiento de grandes volúmenes de datos

SQL y bases de datos

• SQL avanzado
• Queries complejas
• Joins
• CTEs
• Window functions
• Stored procedures
• Functions
• Views
• Optimización de consultas
• Experiencia con bases de datos relacionales

Lenguajes

• Python
• PySpark como conocimiento altamente deseable para AWS Glue

GitHub y DevOps

• Git
• GitHub
• GitHub Actions
• CI/CD
• Pull Requests
• Branching strategies
• Automated testing
• Automated deployments
• Gestión de secrets y variables
• Integración de GitHub con AWS

Infrastructure as Code

• Terraform y/o CloudFormation

Experiencia con bases de datos

Se valorará especialmente experiencia con uno o varios de los siguientes motores:

• Oracle
• Microsoft SQL Server
• PostgreSQL
• MySQL

El candidato debe ser capaz de entender un entorno de base de datos existente, identificar dependencias y adaptar la solución para el entorno AWS destino.

Competencias profesionales

• Capacidad analítica.
• Orientación a la automatización.
• Atención al detalle.
• Orientación a calidad de datos.
• Capacidad de troubleshooting.
• Pensamiento estructurado.
• Buenas prácticas de desarrollo.
• Capacidad para documentar soluciones técnicas.
• Trabajo colaborativo.
• Capacidad para gestionar prioridades y entregas.
• Orientación a resultados.

Perfil técnico esperado

El candidato ideal debe ser capaz de trabajar end-to-end en una migración de datos.

Como referencia, debería poder participar en un flujo como:

Base de datos origen → AWS DMS → Amazon S3 → AWS Glue → Transformaciones SQL / Python / PySpark → Base de datos o Data Warehouse destino → Validación y reconciliación → CI/CD con GitHub Actions → Monitorización con CloudWatch

Además, debe ser capaz de llevar este flujo desde el desarrollo hasta producción utilizando procesos automatizados y controlados.