Описание
Устоявшаяся платформа аналитики ETF вторичного рынка с более чем семилетней историей промышленной эксплуатации. Она ежедневно принимает торговые отчёты из множества источников, включая файловых провайдеров, провайдеров рыночных данных, спред-данные и букинги, для формирования аналитических отчётов. Платформа полностью построена на Python и AWS, использует архитектуру Data Lakehouse и data pipeline, и находится в процессе перехода к модели "run-org".
Задачи
•Проектирование, разработка и оптимизация пайплайнов данных на Python для обработки потоковых рыночных данных с минимальной задержкой
•Интеграция облачных сервисов AWS для поддержки загрузки, обработки, хранения и доставки данных в реальном времени и исторических данных
•Работа в составе небольшой agile-команды из 3–5 инженеров для быстрого принятия решений и итеративной разработки
•Участие в регулярных координационных встречах с менеджерами клиента и внутренними командами разработки для согласования результатов
•Подготовка и поддержка технической документации для понимания системы и передачи знаний
•Обеспечение L3-поддержки производственных инцидентов, выполнение анализа первопричин и реализация корректирующих действий
•Оценка и внедрение новых технологий и методологий для повышения производительности и надёжности пайплайнов
Требования
•Не менее 3 лет опыта в Data Software Engineering
•Уверенное владение Python в контексте data engineering, с акцентом на масштабируемый и поддерживаемый код
•Экспертиза в проектировании и реализации архитектур data lakehouse и потоковых пайплайнов данных в реальном времени
•Опыт интеграции и управления сервисами AWS, включая S3, ECS и EC2
•Компетенция в работе с Lambda, Step Functions и EventBridge
•Знание CloudWatch и DynamoDB для мониторинга и управления NoSQL-данными
•Умение оказывать L3-поддержку критичных систем data engineering, сильные навыки troubleshooting
•Понимание концепций финансового или банковского домена
•Английский язык на уровне Upper-Intermediate (B2) или выше
Условия
Условий в вакансии нет
