Описание
Объединённая компания Wildberries и Russ развивает два направления: поддерживает и совершенствует существующее хранилище данных на Greenplum и строит новое на основе подхода Data Lakehouse.
Задачи
•Проектировать и развивать платформу Data Lakehouse
•Разрабатывать ETL/ELT-пайплайны на базе Spark, DBT и Trino
•Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake
•Строить наблюдаемость платформы: метрики, дашборды и оповещения на базе Prometheus, VictoriaMetrics и Grafana
•Управлять инфраструктурой и конфигурацией платформы через GitOps, ArgoCD и Helm
•Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт
Требования
•Практический опыт построения платформ Data Lakehouse или крупных платформ данных
•Опыт проектирования DLH с нуля
•Глубокое понимание архитектуры Spark: модели выполнения, разделения данных, управления памятью, перемешивания данных и оптимизации запросов
•Понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg и Parquet
•Опыт работы с Trino и понимание принципов распределённого выполнения запросов
•Опыт работы с Airflow и построения сложных потоков обработки данных, разработки пользовательских операторов, сенсоров, хуков и плагинов
Условия
•Обучение и развитие: языковые клубы, корпоративный университет и программы развития управленческих навыков
•Корпоративная ДМС со стоматологией, корпоративный спорт и консультации психолога
•Возможности аккредитованной IT-компании
•Сообщества по интересам: клубы спикеров, футбола, йоги и шахмат
•Гибкий подход к сочетанию карьеры и заботы о близких, проекты для детей сотрудников
•Скидки на обучение, страхование и покупки, партнёрские программы
•Бесплатное питание в офисе, корпоративная техника и портал для сотрудников
