Описание
Мы ищем Data Engineer, которому нравится создавать надёжные пайплайны данных. Вы поможете проектировать и поддерживать масштабируемые ELT-процессы, которые обеспечивают работу аналитики, отчётности и ключевых продуктовых функций. Вы уверенно работаете с Python, SQL и AWS, понимаете современные паттерны архитектуры данных и заботитесь о качестве данных, производительности и поддерживаемости.
Задачи
•Проектирование, построение и поддержка масштабируемых ELT-пайплайнов
•Реализация и эксплуатация data workflow с использованием AWS, включая Lambda, Step Functions, S3 и Batch
•Участие в развитии архитектуры Data Platform с использованием Medallion architecture
•Обеспечение качества, согласованности и надёжности данных в пайплайнах
•Оптимизация трансформаций данных по производительности и стоимости
•Совместная работа с Backend и Frontend инженерами и Product для определения требований к данным
•Мониторинг пайплайнов, устранение неполадок и улучшение observability
•Документирование моделей данных, трансформаций и архитектурных решений
Требования
•Сильные навыки Python для обработки данных
•Опыт построения ETL/ELT пайплайнов в продакшн-окружениях
•Солидный опыт работы с AWS, особенно Lambda, Step Functions и S3
•Понимание Medallion Architecture
•Сильные навыки SQL и опыт с dimensional data modeling
•Опыт работы со структурированными и полуструктурированными данными, включая JSON, CSV, Parquet и API
•Понимание практик валидации данных и обеспечения качества данных
•Опыт работы с Git и CI/CD
Будет плюсом
•Опыт работы с колоночными базами данных, такими как ClickHouse, Redshift или BigQuery
•Знакомство с infrastructure-as-code, например Terraform
•Опыт работы с Docker
Условия
•Локация: Вена
•Часть высокомотивированной международной команды
•Высокая степень ответственности за свою область
•Современный data stack и возможность влиять на архитектурные решения
•Ежеквартальные офисные недели в Вене
