# О компании
«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы.
Мы развиваем data-driven культуру и расширяем команду данных. Ищем Middle Data Engineer, который поможет развивать платформу данных (DWH и Data Lake), настроит надежные пайплайны пакетной и потоковой обработки на Spark и Airflow, а также обеспечит команду аналитики быстрыми витринами для нашего корпоративного BI-инструмента — Apache Superset.
Чем предстоит заниматься
•Развитие DWH и Data Lake: участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse.
•Разработка пайплайнов обработки данных: написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python.
•Оркестрация процессов: создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow.
•Подготовка витрин для BI: проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset.
•Интеграция источников: сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы).
•Контроль качества и оптимизация: валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.
Что мы ждем от кандидата
•Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет.
•Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).
•Опыт работы с Apache Airflow: уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов.
•Практика работы с СУБД и хранилищами:
•PostgreSQL (реляционное моделирование, индексы, транзакции);
•ClickHouse (семейство движков MergeTree, специфика колоночного хранения);
•S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC).
•Уверенный Python: написание чистого, структурированного кода для задач обработки данных.
•Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset).
•Навыки работы с Git, Docker и Linux-окружением.
Будет плюсом
•Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ).
•Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera).
•Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset.
•Понимание логистического или B2B SaaS-домена.
Наш стек
•Storage & DB: S3, PostgreSQL, ClickHouse
•Pipelines & Orchestration: Apache Spark, Apache Airflow
•BI: Apache Superset
•Streaming & Messaging: Apache Kafka, RabbitMQ
•Infrastructure & CI/CD: Docker, Kubernetes, GitLab CI, Grafana, Prometheus
Что мы предлагаем
•Прозрачные задачи и профессиональный рост: участие в развитии современной платформы данных без устаревшего легаси в связке с сильной командой.
•Оформление и стабильность: полностью официальное трудоустройство по ТК РФ, белая заработная плата.
•Гибкий формат: полная удаленка из любой точки РФ или работа в комфортном офисе.
•Техника для работы: производительный рабочий ноутбук и все необходимые доступы.
•Обучение: компенсация профильных курсов, профильной литературы и участия в конференциях.
•Культура: минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.
