Описание
«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы.
Задачи
•Развитие DWH и Data Lake: участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse.
•Разработка пайплайнов обработки данных: написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python.
•Оркестрация процессов: создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow.
•Подготовка витрин для BI: проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset.
•Интеграция источников: сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы).
•Контроль качества и оптимизация: валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.
Требования
•Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет.
•Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).
•Опыт работы с Apache Airflow: уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов.
•PostgreSQL (реляционное моделирование, индексы, транзакции); ClickHouse (семейство движков MergeTree, специфика колоночного хранения); S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC).
•Уверенный Python: написание чистого, структурированного кода для задач обработки данных.
•Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset).
•Навыки работы с Git, Docker и Linux-окружением.
Будет плюсом
•Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ).
•Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera).
•Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset.
•Понимание логистического или B2B SaaS-домена.
Условия
•Участие в развитии современной платформы данных без устаревшего легаси в связке с сильной командой.
•Полностью официальное трудоустройство по ТК РФ, белая заработная плата.
•Полная удаленка из любой точки РФ или работа в комфортном офисе.
•Производительный рабочий ноутбук и все необходимые доступы.
•Компенсация профильных курсов, профильной литературы и участия в конференциях.
•Минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.
