Описание
Flowwow — международный маркетплейс подарков. Data Platform — собственная платформа данных на базе lakehouse, с инструментами для обработки, наблюдаемости и анализа данных, а также AI-агентами для инженерных процессов. Команда разрабатывает библиотеки, фреймворки и сервисы для дата-вертикали компании.
Задачи
•Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow и инструменты lineage; проектировать API и отвечать за них
•Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов и обёртки над инфраструктурой
•Работать с lakehouse: обслуживать Iceberg-таблицы, оптимизировать их структуру, настраивать Trino и запускать Spark-джобы для тяжёлых преобразований
•Строить интеграции с источниками и проектировать унифицированные интерфейсы для подключения новых источников
•Внедрять AI в инженерные процессы: развивать агентов для расследования инцидентов и анализа качества данных, ассистентов для DAG'ов и проверки кода
•Участвовать в архитектурных решениях, выбирать технологии и проектировать интерфейсы между компонентами
•Проводить проверку кода и наставлять менее опытных коллег
Требования
•Промышленный опыт от 5 лет в разработке хранилищ данных или бэкенд-разработке с сильным уклоном в данные
•Опыт работы с производственными системами под нагрузкой и ответственность за их эксплуатацию
•Уверенное владение Python: ООП, проектирование API библиотек, типизация, тесты и создание переиспользуемых компонентов
•Практический опыт с Apache Iceberg или Delta/Hudi и понимание устройства таблиц, снимков, компакции и эволюции схем
•Опыт работы с Trino или другим MPP-движком: распределённое выполнение, анализ планов запросов, оптимизация и коннекторы
•Глубокое знание Apache Airflow, включая внутреннее устройство, собственные операторы и хуки
•Опыт работы с Apache Spark, PySpark и Spark SQL, понимание модели выполнения
•Продвинутый SQL: оконные функции, CTE, оптимизация, планы исполнения и большие объёмы данных
•Уверенное владение Git и CI/CD
Будет плюсом: опыт разработки платформенных инструментов, применение Claude Code или Codex и создание систем на базе LLM, Kubernetes, CDC и потоковых пайплайнов, знание Parquet и систем контроля доступа к данным
Условия
•Трудовой договор
•График 5/2
•ДМС со стоматологией или компенсация медицинского обслуживания, сервис психологической поддержки
•Компенсация занятий спортом или спортивного оборудования
•Компенсация стоимости техники для работы
•Оплата обучения, конференций и митапов
•Корпоративная программа лояльности, скидки на Flowwow и предложения партнёров
