Описание
RITS Group — IT-компания, предоставляющая услуги по разработке программного обеспечения для польского и международного рынков, входит в число быстрорастущих технологических компаний. Для клиента — международной технологической компании, разрабатывающей облачную платформу для коммуникаций с клиентами, автоматизации и data-driven маркетинга — ищем Data Platform Engineer с экспертизой в Apache Druid.
Задачи
•Разработка и поддержка пайплайнов приема данных в Apache Druid, создание кастомных расширений.
•Интеграция Apache Druid с внешними lookup-системами.
•Создание и поддержка пайплайнов данных на основе Apache Kafka.
•Участие в разработке потоковой обработки с использованием Apache Flink.
•Реализация процессов пред-агрегации и обогащения данных.
•Оптимизация запросов MySQL и улучшение производительности баз данных в крупномасштабных средах.
•Проектирование механизмов обогащения метаданных в разных системах хранения данных.
•Интеграция и поддержка механизмов контроля доступа RBAC.
•Работа с сервисами AWS, в частности S3, Aurora и IAM.
•Сотрудничество с командами, разрабатывающими платформу данных и архитектуру Lakehouse.
Требования
•Практический опыт работы с Apache Druid, в частности в приеме данных и разработке расширений.
•Опыт создания и поддержки пайплайнов данных с использованием Apache Kafka.
•Знание Apache Flink или аналогичных технологий потоковой обработки.
•Очень хорошее знание MySQL, включая оптимизацию запросов и производительность баз данных с большими объемами данных.
•Опыт реализации механизмов обогащения метаданных в платформах данных.
•Опыт интеграции и поддержки решений RBAC в разных системах хранения данных.
•Практические знания AWS, в частности S3, Aurora и IAM.
•Умение решать сложные инженерные задачи и работать в команде.
Будет плюсом
•Опыт работы с ClickHouse.
•Знание Apache Iceberg и архитектуры Lakehouse.
•Опыт работы с технологиями федерации запросов, такими как Trino или Amazon Athena.
•Опыт работы с платформами данных, обрабатывающими большие объемы данных.
Условия
Условий в вакансии нет.
