IMC

Инженер по надежности сайта - Инженерия данных

Коротко

Инженер по надежности сайта в команде инженерии данных торговой компании IMC в Сиднее, отвечающий за эксплуатацию и развитие масштабных платформ сбора, хранения и обработки данных (Kafka, HDFS, Dremio). Команда из четырёх человек в Сиднее работает как часть большой команды данных APAC, сотрудничая с коллегами из Чикаго, Мумбаи и Амстердама. Требуется более 2 лет опыта управления петабайтной инфраструктурой данных, глубокое знание Linux, опыт с Kafka/HDFS/Kubernetes, Docker, Helm, а также знакомство с Dremio, Presto, Airflow, Prefect и облачными платформами (AWS, GCP, Azure).

О роли
Присоединяйтесь к нашей динамичной и высокоэффективной команде инженеров данных, где вы будете отвечать за наши масштабные платформы сбора, хранения, доступа и запросов данных. Работа включает безопасную и надежную эксплуатацию платформы, а также проекты по развитию и расширению её возможностей. Это критически важная роль в организации, поскольку платформа данных обеспечивает широкий спектр анализа трейдеров, моделирования, отчетности и получения инсайтов.
Вы присоединитесь к растущей команде из четырёх человек в Сиднее, которая является частью большой команды данных APAC, и будете сотрудничать с коллегами из Чикаго, Мумбаи и Амстердама.
Ваши основные обязанности:
•Управление и мониторинг распределённых систем, инфраструктуры хранения и платформ обработки данных, включая Kafka, HDFS, Dremio и внутренние конвейеры данных.
•Активное внедрение автоматизации систем и CI/CD для обеспечения быстрого развертывания аппаратных и программных решений.
•Тесное сотрудничество с инженерами систем и сетей, трейдерами и разработчиками для поддержки и устранения проблем с их запросами.
•Отслеживание последних технологических тенденций в отрасли; предложение, оценка и внедрение инновационных решений.
Ваши навыки и опыт:
•Более 2 лет опыта управления крупномасштабной инфраструктурой данных объёмом в несколько петабайт на аналогичной должности.
•Знание администрирования и внутреннего устройства систем Linux, с подтверждённой способностью устранять проблемы в Linux-средах.
•Опыт работы как минимум с одной из следующих технологий: Kafka, HDFS, Kubernetes.
•Практические знания Docker, Kubernetes и Helm.
•Опыт работы с технологиями доступа к данным, такими как Dremio и Presto.
•Знакомство с инструментами оркестрации рабочих процессов, такими как Airflow и Prefect.
•Опыт работы с облачными платформами, такими как AWS, GCP или Azure.
О нас
IMC — это исследовательская торговая компания, где количественное моделирование, машинное обучение и инженерия формируют способы торговли на современных рынках. Будучи стабилизирующей силой на рынках с 1989 года, мы обеспечиваем ликвидность на торговых площадках, предоставляя инвесторам лучшие результаты в управлении стоимостью и рисками. Используя собственные технологии и капитал, мы создаём проприетарные системы и алгоритмы, работающие на глобальных рынках. Наши исследователи, трейдеры и инженеры работают как единое целое, сочетая быстрое экспериментирование, передовую инфраструктуру и обратную связь в реальном времени, чтобы превращать инсайты в исполнение, а исполнение — в преимущество.

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте