X5 Tech

Senior Data Engineer (IBP)

Коротко

Senior Data Engineer развивает собственную систему IBP (Integrated Business Planning) и дата-платформу для планирования цепочек поставок в ритейле. Основная задача — проектирование и оптимизация Spark-пайплайнов, обрабатывающих более 200 млн строк данных ежедневно, а также интеграция данных из множества источников. Требуется опыт работы с PySpark, Trino, Python, Kubernetes, Iceberg, ClickHouse, PostgreSQL, Kafka, Airflow и другими технологиями обработки больших данных. Формат работы — удалённый или гибридный.

Локация
Удалённый или гибридный формат работы
Компания
X5 Tech развивает платформу для планирования и управления цепочками поставок в сфере ритейла.
Что делать
•Разрабатывать собственную систему IBP (Integrated Business Planning) и участвовать в развитии её архитектуры.
•Проектировать и оптимизировать Spark-пайплайны для обработки более 200 млн строк данных ежедневно.
•Автоматизировать интеграцию данных из источников онлайн- и офлайн-продаж, ERP, внешних API, а также данных об акциях, ценах, остатках, погоде и календарях.
•Настраивать хранение и доступность данных в DWH.
•Повышать надёжность, масштабируемость и удобство использования дата-платформы.
Требования
•Опыт разработки дата-пайплайнов и обработки больших объёмов данных.
•Знание PySpark, Trino и Python.
•Опыт работы с Kubernetes, Minio, Iceberg, ClickHouse и PostgreSQL.
•Знание Kafka, RabbitMQ, Airflow, Docker и Pytest.
•Способность участвовать в развитии архитектуры дата-платформы и системы IBP.
Культура и преимущества
•Официальное трудоустройство, белая заработная плата и ежеквартальные премии по результатам работы.
•ДМС с возможностью выезда за рубеж и стоматологией, а также страхование жизни и здоровья.
•Внешние тренинги, профессиональные конференции, корпоративный университет и программы развития цифровых и управленческих навыков.
•Технические сообщества, митапы, демо-дни и программы для спикеров и авторов.
•Спортивные сообщества, Неделя здоровья, скидки в экосистеме X5 и программа привилегий Prime-zone.
•Материальная помощь сотрудникам в сложных жизненных ситуациях.

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте