О роли
IMC работает на передовом использовании технологий для создания конкурентного преимущества над соперниками. Мы также быстро растём и сталкиваемся со множеством сложных технических задач. Мы ищем опытного SRE с сильным опытом управления распределёнными системами данных как на bare metal Linux, так и на Kubernetes. Нам нужен человек, который поможет стандартизировать развертывания, повысить наблюдаемость и улучшить автоматизацию по мере масштабирования нашей платформы данных и других критически важных сервисов данных.
Вы присоединитесь к нашей команде Data Platform, которая является частью нашей локальной команды данных, строящей и эксплуатирующей системы, используемые трейдерами, количественными исследователями и инженерными командами для всех их потребностей в данных. Команда Data Platform отвечает за фундаментальную платформу, на которой построены наши фреймворки и инструменты для работы с данными. Это включает наблюдаемость, масштабируемость и поддержку стандартизированных развертываний.
Ваши основные обязанности
В качестве SRE в IMC вы присоединитесь к подкоманде, которая играет центральную роль во всех потребностях в данных, и будете работать над:
•Проектированием, внедрением и эксплуатацией наших платформ данных.
•Улучшением наблюдаемости, чтобы мы обнаруживали проблемы до того, как это сделают наши пользователи.
•Созданием автоматизации для снижения рутинной работы и обеспечения масштабируемости наших систем.
•Поддержкой и ответственностью за надёжность критически важных сервисов (например, HDFS, Kafka и Dremio).
•Внедрением долгосрочных архитектурных улучшений, не только исправляя проблемы, но и предотвращая их.
Ваши навыки и опыт
•Сильный опыт управления распределёнными платформами данных (например, Kafka, Hadoop, Spark, Dremio); включая полную установку, отладку и настройку производительности.
•Практический опыт развертывания, настройки и оркестрации программного обеспечения на Linux и Kubernetes с доказанной способностью устранять проблемы в обеих средах.
•Сильный опыт работы с инфраструктурой как кодом (предпочтительно Ansible) и лучшими практиками.
•Уверенные навыки программирования на Python.
•Умение читать, писать и оптимизировать SQL-запросы.
•Комфортное чтение исходного кода на Java, настройка и отладка работающих JVM.
•Знакомство с технологиями data lakehouse (например, Iceberg или Delta Lake), а также с технологиями движков запросов (например, Dremio, Presto или Trino).
•Опыт работы с инструментами оркестрации рабочих процессов, такими как Airflow или Dagster.
•Проактивный подход: вы не просто исправляете проблемы, но и предотвращаете их.
•Уверенность в работе с разными командами при минимальном контроле.
Наш технологический стек
•Инструменты для работы с данными: Hadoop (HDFS), Kafka, Dremio, Iceberg, Clickhouse, Spark, Airflow, Flink
•Автоматизация инфраструктуры: Ansible, Puppet, Kubernetes (ArgoCD, Helm, Kustomize)
•Наблюдаемость: Prometheus, Grafana, AlertManager
•Скрипты: Python, Bash, SQL
•Прочее: инфраструктура PCAP
О нас
IMC — это исследовательская торговая компания, где количественное моделирование, машинное обучение и инженерия формируют способы торговли на современных рынках. Будучи стабилизирующей силой на рынках с 1989 года, мы обеспечиваем ликвидность на торговых площадках, предоставляя инвесторам наилучшие результаты в управлении стоимостью и рисками. Используя собственные технологии и капитал, мы создаём проприетарные системы и алгоритмы, работающие на глобальных рынках. Наши исследователи, трейдеры и инженеры работают как единое целое, сочетая быстрое экспериментирование, передовую инфраструктуру и обратную связь в реальном времени, чтобы превращать инсайты в исполнение, а исполнение — в преимущество.
