Описание
2GIS CDP — внутренняя Customer Data Platform, объединяющая данные из десятков источников, создающая единые пользовательские профили, рассчитывающая метрики, интересы и модели поведения, а также поддерживающая персонализацию продукта, рекламы и коммуникаций. Платформа обрабатывает большие объёмы событий и является стратегическим направлением развития 2ГИС.
Задачи
•Повысить эффективность пайплайнов для расчёта ежедневных признаков на основе пакетной обработки
•Создать эффективный пайплайн для расчёта признаков в реальном времени на основе Kafka-топиков
•Проектировать и разрабатывать сервисы, обрабатывающие миллиарды пользовательских событий
•Решать сложные инженерные задачи: рассчитывать метрики и строить витрины
•Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
•Влиять на архитектурные решения и качество кода
•Взаимодействовать с аналитиками, продактами и инженерами других направлений в распределённой команде
Требования
•Опыт работы с highload-системами
•Опыт проектирования архитектуры данных или платформенного кода
•Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных
•Понимание принципов работы Spark и умение его настраивать
•Уверенное владение одним из языков программирования, например Python или Scala
•Самостоятельность и проактивность
•Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код
Будет плюсом:
•Опыт работы с Airflow
•Опыт анализа данных с использованием SQL
•Знание инструментов мониторинга и автоматического контроля качества данных
•Опыт построения Data Lineage и работы с Data Catalog
•Понимание подходов к персонализации, сегментации или аналитике в реальном времени
•Понимание принципов работы S3-хранилищ
Условия
•Возможность влиять на развитие стека и архитектуру
•Минимум бюрократии и высокий уровень ответственности
•Работа над стратегическим направлением с миллионами пользователей, миллиардами событий и сотнями интеграций
•Возможность видеть влияние работы на продукт, коммуникации и рекламу 2ГИС
