Локация
Москва; удалённый формат работы
Компания
Международный маркетплейс подарков с собственной Data Platform, построенной с нуля на lakehouse-стеке и AI-инструментах.
Что делать
•Развивать фреймворк Data Vault, обвязку Apache Airflow и инструменты lineage и наблюдаемости данных.
•Проектировать API и писать переиспользуемые Python-библиотеки, фреймворки, клиенты к источникам и инструменты тестирования пайплайнов.
•Работать с Apache Iceberg, Trino и Spark: оптимизировать запросы и layout таблиц, выполнять maintenance и разрабатывать тяжёлые трансформации.
•Строить интеграции с OLTP-базами, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
•Развивать AI-агентов на LangGraph и MCP для расследования инцидентов, анализа качества данных, генерации DAG'ов и code review.
•Участвовать в архитектурных решениях, проводить code review и менторить менее опытных коллег.
Требования
•От 5 лет промышленного опыта в data engineering или backend-разработке с сильным уклоном в данные.
•Продвинутый Python: ООП, проектирование API библиотек, типизация, тестирование и создание переиспользуемых компонентов.
•Практический опыт с Apache Iceberg или Delta/Hudi, lakehouse-архитектурой, snapshots, компакцией и schema evolution.
•Опыт работы с Trino или другим MPP-движком, Apache Airflow, Apache Spark/PySpark и продвинутым SQL.
•Уверенное владение Git и CI/CD.
Хорошо, если есть
•Опыт разработки внутренних платформенных инструментов и фреймворков.
•AI-native подход, использование Claude Code, Codex или аналогичных инструментов, а также опыт построения harness-систем, RAG и LLM-автоматизации.
•Опыт с Kubernetes, Helm, CDC, Debezium, Kafka Connect и потоковыми пайплайнами.
•Знание формата Parquet и систем контроля доступа к данным.
Культура и преимущества
•Полная занятость, трудовой договор, график 5/2 и удалённый формат работы.
•ДМС со стоматологией или компенсация медицинских расходов и психологическая поддержка.
•Компенсация занятий спортом, спортивного оборудования и техники для работы.
•Оплата обучения, конференций и профессиональных митапов.
•Культура взаимопомощи, развития, открытости к изменениям и социальной ответственности.
