Описание
Сервис Data Insight предназначен для построения Data Lineage — отслеживания движения данных от источника до точки применения — на разных стеках: от традиционных РСУБД до Big Data.
Задачи
•Участвовать в PoC альтернативных решений для Apache Atlas
•Разрабатывать компоненты для преобразования сообщений из формата Apache Atlas в Openlineage
•Интегрировать решение со стеком Hadoop, включая Spark и Hive, а также с РСУБД
•Проверять корректность сбора и отображения Data Lineage на новом решении
Требования
•Уверенно знать Java Core, опыт работы — от 3 лет
•Уверенно знать Scala
•Знать экосистему Hadoop, в частности Spark и Hive
•Отлично знать SQL, уметь составлять сложные запросы и оптимизировать их
•Знать инструменты CI/CD и иметь опыт работы с ними
Будет плюсом: опыт работы с Apache Atlas, Openlineage или другими инструментами управления метаданными, понимание принципов построения графовых структур данных.
Условия
•Ставка — до 210 000 руб. на руки в месяц
•Удалённый или гибридный формат работы
•Локация и гражданство: РФ
•Аутстаффинговая позиция
