Lamoda Tech

Senior Big Data Engineer (Data Platform)

Коротко

Senior Big Data Engineer развивает платформу данных электронной коммерции Lamoda Tech: проектирует ETL-пайплайны на Airflow, Spark, Iceberg и Trino, оптимизирует Spark-джобы и хранилища на Kubernetes. Требуется 3-6 лет опыта в разработке данных, знание Hadoop, HDFS, Hive Metastore, Spark, глубокое понимание Airflow и Iceberg, а также Python и Scala/Java. Работа удалённо или гибридно из Москвы, взаимодействие с аналитиками, ML-специалистами и DataOps.

Локация
Москва, Крылатская улица, 15; формат работы: удалённо или гибридно
Компания
Lamoda Tech развивает платформу данных для электронной коммерции и связанных аналитических и ML-сценариев.
Что делать
•Разрабатывать и совершенствовать платформу данных электронной коммерции нового поколения.
•Проектировать и развивать ETL-пайплайны на Airflow для Spark Batch и Streaming, Iceberg и Trino.
•Оптимизировать Spark-пайплайны и джобы, контролировать нагрузку на кластер и эффективность использования ресурсов.
•Взаимодействовать с аналитиками, ML-специалистами и DataOps для создания инструментов и наборов данных.
•Проектировать хранилища на Kubernetes, настраивать производительность и мониторинг, планировать ёмкость кластеров и партиционирование.
•Участвовать во внедрении облачной инфраструктуры, code review и архитектурных решениях дата-платформы.
Требования
•От 3 до 6 лет опыта в разработке данных.
•Kubernetes: понимание ресурсной модели, чтение конфигураций и troubleshooting.
•Опыт работы с Hadoop, HDFS, Hive Metastore, Spark, Spark SQL и streaming.
•Глубокое понимание Airflow, включая идемпотентность, assets и backfills; опыт работы с Apache Iceberg, snapshots и maintenance.
•Уверенное знание Git, CI/CD, Python и Scala или Java, включая ООП, проектирование библиотек и интеграционные или unit-тесты.
•Хорошее понимание СУБД и SQL.
Хорошо, если есть
•Опыт работы с Docker, Kafka, ClickHouse и облачными технологиями, преимущественно Yandex Cloud.
•AI-native подход к разработке, использование Claude Code, Codex и подобных инструментов.
•Опыт построения harness-систем, агентов с инструментами, автоматизации через LLM и RAG.
Культура и преимущества
•Возможность работать удалённо или в гибридном формате.
•Участие в развитии дата-платформы электронной коммерции и облачной инфраструктуры.
•Взаимодействие с аналитиками, ML-специалистами и DataOps.

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте