Описание
Мы в поисках data-инженера на проект крупного ритейлера.
Задачи
•Создавать и развивать Spark-пайплайны, в том числе Structured Streaming.
•Проектировать модульные и динамические DAG, разрабатывать кастомные операторы, сенсоры и хуки.
•Заниматься построением слоистой модели в dbt (staging, intermediate, marts): реализация incremental-моделей, снимков (snapshots), макросов, настройка Slim CI.
•Проектировать структуры Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных.
•Участвовать в выборе архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки.
•Настраивать CI/CD-процессы в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals).
•Внедрять DQ-фреймворки (например, Great Expectations), настраивать метрики качества данных и алертов.
•Заниматься развитием Semantic Layer (Cube, MetricFlow) и выстраиванием lineage в DataHub.
•Составлять дата-контракты.
Требования
•Опыт в data-инжиниринге от 4 лет.
•Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода.
•Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи.
•Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД.
•Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator.
•Высокий уровень владения dbt.
•Навыки эффективной работы с Git: владение командами rebase и cherry-pick, организация версионирования релизов.
•Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы.
•Работа с S3: настройка lifecycle-правил и управление версионированием объектов.
•Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций.
•Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.
Условия
•Удалённый формат работы на территории РФ.
•Выбор проектов разного уровня сложности среди экспертных команд.
•Разнообразие проектов: SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
