Описание
Мы в поиске Senior/Middle+ Big Data Engineer в направление больших данных, который будет участвовать в разработке рекламной платформы. Департамент рекламы в Lamoda сегодня — это более 50 разработчиков и аналитиков, которые строят собственную рекламную платформу: продвижение товаров, медийные форматы и отчетность для рекламодателей. Каждый день с ней взаимодействуют миллионы пользователей. Главная задача нашей команды - развивать ландшафт данных для построения внутренней и внешней аналитики рекламы.
Задачи
•Проектировать единую модель данных рекламной платформы вместе с продуктом и аналитиками, с учетом роста и развития рекламы в Lamoda
•Строить внешнюю отчетность для рекламодателей: проектировать витрины данных в ClickHouse и расчет метрик эффективности рекламных кампаний в NRT и batch режимах
•Развивать инфраструктуру данных для ML задач и продуктовой аналитики рекламной платформы
•Переводить данные и регулярные расчеты рекламной платформы на Lakehouse архитектуру
•Выстраивать взаимодействие с продуктовыми командами рекламной платформы: согласовывать источники, форматы и контракты данных
•Обеспечивать качество данных в разных системах, проектировать Data Quality
•Оптимизировать действующие пайплайны на Spark - мониторить нагрузку на кластер и эффективность затрачиваемых ресурсов
•Анализировать и внедрять новые инструменты инжиниринга данных
Требования
•Уверенное владение Python/Scala/Java
•Глубокое знание Spark и Spark Streaming/Flink
•Понимание внутреннего устройства ClickHouse и умение оптимизировать запросы
•Опыт работы с Data Lake/Lakehouse стеком
•Опыт построения решений для near realtime аналитики
•Хорошее понимание SQL
•Понимание инфраструктуры Apache Kafka
Будет плюсом
•Опыт работы с данными домена рекламы
•Опыт внедрения Data Quality-инструментов
•Опыт работы с Docker, Kubernetes и системами мониторинга (Grafana, Prometheus)
Условия
Условий в вакансии нет
