Описание
Data Engineering команда отвечает за проектирование, построение и поддержку Market Data Platform — lakehouse-инфраструктуры, покрывающей весь путь от сырых биржевых фидов до надёжных петабайтных данных для research, backtesting и real-time trading. Проверенная глобальная fintech-компания с передовым стеком и десятилетним опытом успешного трейдинга разрабатывает собственную платформу для торговли тысячами инструментов на десятках рынков.
Задачи
•Отвечать за полный путь захвата данных: декодировать и нормализовать сырые биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и вендорские источники (OneTick, Refinitiv, Bloomberg, ICE) в единую каноническую модель с таймстемпами в наносекундах.
•Строить batch и streaming пайплайны (Airflow, Spark, dbt) для tick и reference данных.
•Отвечать за реконструкцию L2/L3 order-book с обработкой пропусков (gap handling).
•Предоставлять Python и Rust producer SDK для внутренних feed handlers.
•Отвечать за Iceberg-over-S3 lakehouse: проектировать партиционирование, порядок сортировки и row-group layouts для быстрых сканирований; управлять schema evolution, snapshots, time travel, компакцией и TTL.
•Поддерживать reference data как slowly changing tables с point-in-time корректностью для backtests.
•Вести оптимизацию стоимости хранения через компакцию, tiering и snapshot expiry.
•Строить библиотеки для управления схемами, data contracts, валидации и lineage на базе Iceberg catalog.
•Разрабатывать общие сервисы доступа (Spark + Polars), чтобы research, backtesting и trading использовали единый нормализованный слой данных, включая gap detection и PCAP-vs-lake reconciliation.
•Внедрять мониторинг, алертинг, SLA/SLO и CI/CD на уровне capture и pipeline слоёв на Kubernetes (EKS).
•Отвечать за дашборды качества данных и runbooks инцидентов для capture fleet.
•Взаимодействовать с Quant Research, Data Science, Backend и DevOps, переводя требования в платформенные возможности, продвигать best practices market-data engineering.
Требования
•5+ лет опыта построения production-grade data систем, глубокое знание и понимание проблем работы с data lakes/lakehouses в масштабе: data layout и partitioning strategy, ingestion и backfills, small-file и metadata growth, consistency и late-arriving data, производительность запросов, стоимость хранения, операционные failure modes.
•Практический опыт с Apache Iceberg (или сопоставимыми форматами таблиц, такими как Delta/Hudi): партиционирование, schema evolution, snapshots, компакция, catalog operations; знакомство с Apache Arrow для zero-copy, columnar in-memory обмена.
•Экспертный уровень Python (включая Polars и/или PySpark).
•Современные инструменты оркестрации (Airflow) и движки распределённой обработки/запросов (Apache Spark, StarRocks).
•Продвинутый SQL: сложные агрегации, window functions, оптимизация запросов, partition pruning.
•Твёрдые базовые знания Linux, контейнеризации (Docker, Kubernetes/EKS) и облачного объектного хранилища (AWS S3).
•DevOps и observability: CI/CD, infrastructure-as-code (Terraform), GitOps (ArgoCD), метрики/дашборды/алертинг (Grafana, Prometheus).
•Сильное понимание структурированных и неструктурированных/бинарных данных и оптимизации хранения: партиционирование, сжатие, управление стоимостью.
•Английский на уровне B2+ для документации и коммуникации в международной команде.
Будет плюсом
•Опыт работы с market data и/или network packet capture: декодирование PCAP, биржевые протоколы фидов (ITCH, FIX/FAST, multicast UDP), реконструкция order-book и работа с time-series в масштабе. Готовность изучать этот домен ожидается.
•Опыт нормализации market data от нескольких вендоров (OneTick, Refinitiv/Reuters, Bloomberg, ICE) в единую схему и symbology.
•Rust, актуален для высокопроизводительного capture/decoding.
Условия
•Полностью удалённая работа с ежедневным окном пересечения 12:00–18:00 GMT+3.
•Компенсация медицинской страховки, спорта и личного развития.
•По-настоящему горизонтальная структура с реальной автономией в работе.
•Возможность развивать роль по мере роста команды.
