Описание
Мы строим хранилище данных VK Рекламы: от сырых логов до отчётов, на которые опираются бизнес, аналитика и рекламные продукты. Сейчас в процессе большая миграция AdTech DWH с legacy-кластера ClickHouse TRG-1 на новый стек: YTsaurus (jupiter) для хранения и вычислений и управляемый ClickHouse (MDB adh-analytics) для аналитики, с интеграцией в OneDWH (проект ADA).
Задачи
•Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse
•Участие в миграции таблиц и отчётности TRG-1 на YT + MDB
•Поддержка DAG'ов в Airflow
•DQ-проверки, мониторинг свежести данных, разбор инцидентов и аномалий
•Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками
•Дежурства в онколле с наставничеством на старте
Требования
•Уверенный SQL, опыт с ClickHouse или другой колоночной/аналитической СУБД
•Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами
•Python на уровне написания рабочих скриптов автоматизации
•Базовое понимание DWH: слои, моделирование, backfill
•Git, умение разбирать расхождения в данных и докопаться до первопричины
Будет плюсом
•Знание YTsaurus/YQL
•Опыт миграций данных между кластерами
•AdTech-домен (показы, клики, биллинг, ORD/ABC)
Условия
•Гибкий график работы
•Бонусы и скидки от партнеров
•Офис в центре города
•ДМС
•Профессиональная команда
