О компании
«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных.
Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний.
Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.
Чем предстоит заниматься
•Разрабатывать и оптимизировать batch-процессы на Apache Spark.
•Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных.
•Создавать и поддерживать витрины данных в Hadoop.
•Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера.
•Развивать архитектуру Data Lake и подходы к организации и хранению данных.
•Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO).
•Автоматизировать процессы с помощью Apache Airflow и Apache NiFi.
•Поддерживать трансформации данных в dbt Core.
•Развивать и поддерживать витрины данных в ClickHouse.
•Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности.
•Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы.
•Внедрять проверки качества данных и мониторинг пайплайнов.
•Исследовать причины сбоев и деградации производительности.
•Помогать аналитикам и дата-сайентистам эффективно работать с платформой.
•Участвовать в развитии внутренних инструментов и стандартов Data Engineering.
•Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes.
Что для нас важно
•От трёх лет опыта работы с Hadoop и Apache Spark.
•Знание основных компонентов Hadoop и принципов работы HDFS и Spark.
•Глубокое понимание архитектуры Spark и принципов распределённых вычислений.
•Опыт разработки и оптимизации Spark batch jobs.
•Уверенное владение SQL.
•Опыт проектирования DWH или Data Lake.
•Опыт построения ETL/ELT-процессов.
•Практический опыт работы с Apache Airflow.
•Знание форматов хранения данных.
•Понимание принципов партиционирования и организации данных в Data Lake.
•Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера.
•Умение анализировать производительность распределённых приложений и находить узкие места.
•Умение писать чистый, тестируемый и поддерживаемый код.
•Готовность принимать технические решения и отвечать за результат.
Будет преимуществом
•Опыт разработки на Scala.
•Знание Kafka и принципов потоковой обработки данных.
•Опыт работы с ClickHouse и оптимизации запросов.
•Опыт работы с Apache Superset.
•Знакомство с Apache NiFi и dbt Core.
•Опыт эксплуатации приложений в Kubernetes.
•Знание Docker, Helm и GitLab CI/CD.
•Опыт работы с DataHub или другими Data Catalog решениями.
•Опыт построения мониторинга data-платформ и пайплайнов.
•Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter.
•Опыт работы с большими Hadoop-кластерами и высокими объёмами данных.
Наш стек
•Хранение и обработка: Hadoop 3, HDFS, Apache Spark
•Доставка и обмен данными: Kafka, S3
•Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core
•Аналитические хранилища: ClickHouse
•Ad-hoc аналитика: Hue, Jupyter
•Каталог данных: DataHub
•BI и визуализация: Apache Superset, Grafana
•Мониторинг: VictoriaMetrics, Grafana
•Инфраструктура: Kubernetes, Docker, Helm
•CI/CD: GitLab CI/CD
Мы предлагаем
•Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию;
•Совокупный доход: оклад + годовой бонус;
•График работы: 5/2 (гибридный формат работы);
•Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;
•Техника для работы;
•Полис ДМС;
•Программа Best Benefits;
•Внутреннее обучение;
•Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.
