Описание
Привет! Мы - команда продуктов и цифрового развития, сейчас в поиске коллеги на позицию дата-инженера, который спроектирует и своими руками запустит платформу данных: хранилище, интеграции, единые справочники, правила обработки и предоставления данных.
Задачи
•Определять целевую архитектуру вместе с ИТ-директором и командой и поэтапно воплощать её в работающую платформу
•Самостоятельно писать и запускать загрузки и преобразования на Python и SQL, подключать API, базы данных, 1С и файловые выгрузки
•Проектировать слои хранилища, модели данных и витрины в ClickHouse; выбирать структуру таблиц и оптимизировать запросы
•Разрабатывать и сопровождать DAG в Airflow: зависимости, расписания, повторные запуски, догрузки и обработка сбоев
•Настраивать проверки качества, мониторинг и уведомления; обеспечивать защиту от дублей, полноту и актуальность данных
•Совместно с бизнес-аналитиком согласовывать справочники и правила сопоставления; готовить данные для аналитики, сервисов и ИИ-сценариев
•Развёртывать и сопровождать компоненты платформы совместно с ИТ, документировать решения и принимать интеграции подрядчиков
Требования
•Самостоятельное построение хранилища или его существенной части: от архитектуры до работающих загрузок и витрин
•Сильный SQL, уверенный Python, Git, тестирование и обработка ошибок
•Практический опыт Apache Airflow в эксплуатации: разработка DAG, диагностика сбоев и безопасные повторные загрузки
•Практический опыт ClickHouse: моделирование аналитических данных, загрузка, оптимизация запросов и понимание особенностей СУБД
•Понимание ETL/ELT, слоистой архитектуры, инкрементальных загрузок и контроля качества данных
•Рабочие навыки Linux и Docker для запуска и диагностики компонентов
•Умение самостоятельно проектировать, писать код, запускать решения; обосновывать выбор технологий и обсуждать с бизнесом смысл данных
Будет плюсом: PostgreSQL, S3 и Parquet, CI/CD; dbt, опыт с 1С, рекламными платформами, Mediascope, НСИ/MDM и подготовкой данных для ИИ-сервисов
Условия
•Профессиональную команду
•Корпоративное обучение и развитие
•Классный офис в 1 мин от м. «Белорусская» (тут всегда есть чай\кофе\фрукты\снеки)
•График работы 10:00 – 19:00
•ДМС после испытательного срока
•Оформление трудовых отношений по ТК РФ
•Кот Кузя :)
