Описание
Мы — команда разработки в составе крупного стрима Data Platform. Мы создаем и развиваем Customer Catalog — высоконагруженную платформу класса Feature Store. Наша главная текущая задача — построение собственной платформы для потоковой обработки данных (Streaming). Помимо стриминга, мы создаем внутренние DWH-инструменты на Golang и Scala, поэтому у нас много классической и интересной разработки. В нашей экосистеме мы активно используем кластер ScyllaDB, Spark и Airflow.
Задачи
•Проектировать архитектуру: участвовать в формировании архитектурного облика наших продуктов и платформы Feature Store.
•Разрабатывать и внедрять: реализовывать сложные задачи по потоковой обработке данных, интеграции со ScyllaDB/Spark и DWH-инструментам.
•Оценивать и планировать: декомпозировать задачи, участвовать в планировании спринтов и оценивать трудозатраты.
•Отвечать за качество: писать юнит- и интеграционные тесты, проводить перекрестное code review.
•Поддерживать решения: осуществлять саппорт разработанных инструментов при возникновении инцидентов (3-я линия).
•Проектирование и запуск NRT-пайплайнов: разработать и вывести в прод серию отказоустойчивых потоковых пайплайнов Near Real Time для обеспечения работы кредитного конвейера и систем антифрода.
•Обеспечение данными ML и витрин: выстроить эффективную поставку потоковых данных (фичей) для real-time обучения и инференса ML-моделей.
•Интеграция с клиентскими сервисами: настроить быструю отдачу агрегированных данных для мобильного приложения банка и смежных внутренних платформ.
•Участие в развитии Feature Store: внести вклад в проектирование архитектуры нашей целевой стриминг-платформы на базе Apache Flink и ScyllaDB.
Требования
•Опыт работы со Streaming-технологиями: уверенные знания и коммерческий опыт работы с Apache Flink.
•Профессиональное владение стеком: глубокие знания Python и/или Java.
•Опыт работы с Big Data экосистемой: опыт работы с Apache Spark, понимание принципов оркестрации процессов в Apache Airflow.
•Инфраструктурный опыт: понимание принципов работы Kubernetes и построения CI/CD пайплайнов.
•Инженерная зрелость: опыт проектирования архитектуры распределенных систем, любовь к тестам и качественному коду.
Будет плюсом
•Опыт работы с высоконагруженными NoSQL базами данных (желательно ScyllaDB или Apache Cassandra).
•Интерес к backend-разработке и готовность/желание писать или кодить на Golang и Scala для задач DWH.
Условия
•Амбициозные задачи и возможность влиять на ключевые бизнес-процессы.
•Сильная техническая команда, которая всегда готова делиться опытом.
•Крутая продуктовая культура. Опираемся на исследования и метрики, фокусируемся на результате.
•Свобода действий и возможность напрямую влиять на развитие бизнеса.
•Гибкий график. Гибридный или удаленный формат работы на выбор — главное результат.
•Официальное оформление по ТК УЗ.
•Три дополнительных оплачиваемых дня к отпуску.
•Компания — резидент IT-парка, специалисты могут получить IT-визу, которая приравнивается к ВНЖ.
•Развитие личного бренда на конференциях, митапах и внутренних событиях.
