Обязанности
— Проектировать, разрабатывать и поддерживать надежные data pipelines и DAG-процессы;
— Готовить данные для аналитических, продуктовых и бизнес-задач;
— Работать с большими объемами данных, оптимизировать SQL-запросы и производительность хранилищ;
— Развивать процессы ETL/ELT и участвовать в проектировании DWH, моделей данных и витрин;
— Интегрироваться с внешними источниками и сервисами через API, FTP и другие каналы передачи данных;
— Проектировать и разрабатывать Python-сервисы, библиотеки и инструменты для обработки данных;
— Участвовать в развитии архитектуры data-платформы и самостоятельно предлагать технические решения для повышения надежности, производительности и масштабируемости.
Требования
— Сильное знание SQL: сложные запросы, работа с большими объемами данных, анализ и оптимизация производительности;
— Уверенное владение Python: опыт написания production-кода, библиотек, сервисов и инструментов для работы с данными;
— Понимание принципов построения DWH: слои данных, модели, витрины, ETL/ELT и контроль качества данных;
— Практический опыт построения и поддержки data pipelines;
— Самостоятельность в поиске и выборе технических решений;
— Умение понимать бизнес-контекст задач и эффективно взаимодействовать с командой.
Будет преимуществом опыт работы с:
— Airflow — разработка и поддержка DAG, scheduling, retries, backfill, monitoring;
— dbt или аналогичными инструментами трансформации данных;
— Spark и распределенной обработкой данных;
— аналитическими СУБД и OLAP/MPP-системами: ClickHouse, Greenplum, Vertica и другими;
— Kafka / RabbitMQ;
— Iceberg, Trino;
— Docker, Kubernetes, CI/CD;
— подходами Data Mesh;
— open-source проектами или собственными техническими проектами.
Условия
— Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру;
— Гибкий формат работы: удалённо, гибридно или из офиса;
— Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи;
— ДМС со стоматологией после испытательного срока;
— Компенсация спорта, английского языка и сессий с психологом;
— Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды;
— Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности;
— Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы.
