Описание
Развитие и сопровождение системы класса CDP (Customer Data Platform). Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical. Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing). Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах.
Задачи
•Проектировать и разрабатывать batch- и streaming processing сервисы, удовлетворяющие требованиям Business Critical
•Реализовывать интеграции с системами-источниками и системами-потребителями в части клиентских данных
•Внедрять DQ-проверки на этапах обработки данных
•Выстраивать мониторинг, логирование и сбор метрик системы
•Реализовывать CI/CD, требования ИБ, компоненты для повышения надежности и стабильности сервисов
Требования
•3+ года опыта в роли Data Engineer/Backend Developer
•Java: уверенное владение для streaming processing
•Python: для написания DAGs Airflow (DAG, операторы, сенсоры)
•Airflow: DAG, операторы, сенсоры
•SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse
•Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков
•СУБД: Redis/ClickHouse/PostgreSQL или подобные системы
•CI/CD: Gitlab CI, Runners, Docker, Bash
•Опыт использования AI-инструментов (ChatGPT, Claude, Cursor) для ускорения разработки, отладки и тестирования кода
•Применение AI для анализа логов, алертов и автоматизации CI/CD-пайплайнов
Условия
•Доступ к современным AI-инструментам
•Работа в стабильной и активно развивающейся компании – лидере инвестиционного рынка
•Современный стек технологий, амбициозные проекты, возможность профессионального развития
•Гибридный режим работы: возможность работать удаленно (частично или полностью)
•Работа в аккредитованной Минцифры России ИТ-компании, резиденте Сколково
•ДМС с первого месяца работы
