Data Lakehouse Engineer в Корпоративное хранилище
— Аналитика
— От 5 лет
— Удаленно
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Сейчас мы одновременно развиваем два направления: поддерживаем и совершенствуем существующее хранилище данных на Greenplum и строим новое хранилище на базе современного Data Lakehouse-подхода.
Вам предстоит
•Проектировать и развивать Data Lakehouse платформу
•Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino
•Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake
•Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana
•Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm)
•Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт
Мы ожидаем от вас
•Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений
•Обладаете опытом проектирования DLH с нуля
•Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов
•Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий)
•У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов
•Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов
Что мы предлагаем
•Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
•Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
•Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
•Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
•Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
•Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников
