Описание
Как Data Engineer в Baxter Planning вы будете играть ключевую роль в построении и развитии нашей платформы data lake, поддерживающей аналитику и дата-продукты во всей компании. Вы будете проектировать и эксплуатировать надёжные, production-grade дата-пайплайны и выверенные датасеты с использованием современных AWS-сервисов и Python. Роль фокусируется на моделировании данных, качестве данных и near-real-time ingestion для обеспечения достоверных, BI-ready данных. Вы будете тесно работать с инженерами и стейкхолдерами, а также вносить вклад в архитектуру, автоматизацию и best practices.
Задачи
•Построение слоя подачи данных: curated datasets, marts, и product-ready таблицы
•Разработка incremental / micro-batch пайплайнов и поддержка CDC near-real-time ingestion (AWS DMS)
•Проектирование BI-friendly моделей данных (star schema) и управление схемами
•Построение ETL/ELT на Python (Polars) и обслуживание/запрос через Athena и/или Redshift
•Реализация качества данных и observability (freshness, completeness, duplicates, schema drift, anomalies)
•Оркестрация с помощью Airflow и AWS-native инструментов (например, Step Functions)
•Вклад в CI/CD, IaC, архитектурные обсуждения и best practices
Требования
•4+ года опыта построения и эксплуатации production дата-пайплайнов
•Сильный Python
•Сильный AWS по сервисам: S3, Glue, Athena, Redshift, Lake Formation, CloudWatch, DMS, Lambda, Step Functions, SQS/SNS, ECS, DynamoDB (+ CloudFormation)
•Опыт работы с lakehouse таблицами (Delta или аналоги), schema evolution, партиционированием, compaction, upserts/merge
•Уверенные навыки моделирования данных (star schema) и приверженность тестированию и качеству данных
•Опыт эксплуатации AWS DMS в production (мониторинг/troubleshooting)
Будет плюсом
•async/concurrency
Условия
•Конкурентная зарплата (€ 55000 - € 65000)
•Работа в дружной и разнообразной команде
•Private health insurance
•Gym membership
•Learning opportunities
•Flexible benefits
•Team events
•Free office snacks and drinks
