Data Engineer (разработчик DWH)
Обязанности
•Сбор требований с бизнес-заказчиков и анализ источников данных
•Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
•Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
•Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю
Условия работы
•Официальное оформление с белой ЗП
•Полугодовые премии по результатам работы
•Возможность работать удалённо или в гибридном формате
•Удобный офис рядом с м. «Добрынинская» / удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»
•Гибкий график работы
•Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья
•Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое
•Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов
•Обмен опытом через сообщества: 12 технических комьюнити от java до devops
•Яркая корпоративная жизнь: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge
•Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья
•Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»)
•Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров)
•Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию
Профессиональные навыки
•Общее представление о стеке технологий Lakehouse
•Понимание различия работы между BigData/Lakehouse и с данными обычного размера
•Знание SQL (индексы, функции, оптимизация, профилирование производительности)
•Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)
•Умение работать с Git (знание команд git pull/commit/push)
•Опыт работы с DBT, Cosmos
•Представление о работе с Trino
•Понимание устройства Iceberg, форматов данных
•Понимание работы с minio или любого другого хранилища на основе S3
•Опыт использования системами ведения проектов и документации
•Знания основ программирования (JAVA, Python)
