X5 Tech

data engineer платформы больших данных

Коротко

Data Engineer в команду X5 Tech, развивающую платформу больших данных и типовые потоковые интеграционные решения на базе Lakehouse. Нужно разрабатывать и поддерживать интеграционные решения на стеке Trino, Iceberg, S3, Spark, Airflow, Kafka, Cosmos и Flink, собирать требования от бизнес-заказчиков и вести документацию. Требуется знание SQL, опыт работы с реляционными БД, Git, DBT, Cosmos, Trino, Iceberg, S3-хранилищами и основы Java и Python. Формат работы удалённый или гибридный.

Описание
Команда X5 Tech развивает платформу больших данных и типовые потоковые интеграционные решения на базе Lakehouse.
Задачи
•Собирать требования с бизнес-заказчиков и анализировать источники данных
•Разрабатывать, реализовывать и поддерживать типовые потоковые интеграционные решения на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink
•Оперативно реагировать на информацию о проблемах в зоне ответственности
•Выполнять типовые задачи в установленный срок
•Поддерживать в актуальном состоянии документацию типовых интеграционных решений платформы больших данных
•Предоставлять руководителю отчётность о своей деятельности
Требования
•Общее представление о стеке технологий Lakehouse
•Понимание различий между работой с BigData/Lakehouse и данными обычного размера
•Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности
•Опыт работы с реляционной базой данных
•Умение работать с Git и командами git pull, git commit, git push
•Опыт работы с DBT и Cosmos
•Представление о работе с Trino
•Понимание устройства Iceberg и форматов данных
•Понимание работы с MinIO или другим хранилищем на основе S3
•Опыт использования систем ведения проектов и документации
•Знание основ программирования на Java и Python
Условия
•Официальное оформление
•Полугодовые премии по результатам работы
•Возможность работать удалённо или в гибридном формате
•Офисы рядом со станциями метро «Добрынинская» и «Волгоградский проспект», а также у МЦД «Калитники»
•Гибкий график работы
•Широкий пакет ДМС, включая выезд за рубеж и стоматологию
•Страхование жизни и здоровья
•Обучение и развитие за счёт компании
•Участие в конференциях, тренингах, семинарах, мастер-классах и корпоративных образовательных программах
•Программы мотивации для спикеров и авторов
•Технические, спортивные и лайфстайл-сообщества
•Корпоративные мероприятия и программы волонтёрства
•Спортивные сообщества и ежегодная Неделя здоровья
•Скидки в экосистеме бизнесов Х5
•Программа привилегий Prime-zone
•Материальная помощь сотрудникам в сложной жизненной ситуации
•Онлайн-психотерапия

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте