Описание
Команда создаёт корпоративную платформу для работы с данными, объединяя наработки компании в единое стандартизированное решение. Платформа заменит устаревшие системы и будет использоваться инженерными командами для работы с корпоративными данными.
Задачи
•Разрабатывать с нуля MVP новой платформы данных и инфраструктуру для приёма и преобразования данных
•Переносить существующие пайплайны с Hadoop/HDFS на новую архитектуру с S3, Kafka, Spark и ClickHouse
•Работать с большими объёмами данных и высоконагруженными топиками Kafka
•Строить отказоустойчивые пайплайны обработки и доставки данных
•Участвовать в архитектурных решениях и внедрять лучшие практики хранения, мониторинга и контроля качества данных
•Проектировать витрины данных для продуктовой и управленческой аналитики (OLAP)
•Сопровождать перенос BI-отчётов на новую платформу, включая DataLens и Power BI
•Проектировать архитектуру верхнего уровня с учётом безопасности, мониторинга и многопользовательской нагрузки
•Влиять на технологический курс компании: решения будут использовать десятки команд
•Реализовывать технические решения, которые сложно внедрить в рамках существующих подходов
Требования
•Опыт работы Data Engineer или Big Data Engineer от 3 лет
•Хорошее понимание Apache Spark и умение настраивать его
•Опыт работы с ClickHouse и умение оптимизировать его производительность
•Опыт работы с высоконагруженной Kafka — десятки или сотни тысяч событий в секунду
•Знание архитектуры данных: DWH, Lake, OLAP, ETL/ELT, Data Governance
•Умение проектировать отказоустойчивые пайплайны
•Уверенное владение одним из языков программирования, например Python или Scala
•Знание SQL и умение разбираться в логике отчётов
Будет плюсом:
•Опыт построения платформ данных и Self-Service-инструментов
•Знание инструментов мониторинга и контроля качества данных, Data Contracts
•Опыт работы с Data Lineage и Data Catalog
•Инфраструктурный опыт с Docker, Kubernetes и CI/CD
Условия
•Полностью «белая» зарплата
•ДМС и онлайн-консультации терапевта, невролога, психолога и медицинского агента
•Учебный центр, курсы, тренинги и книги для развития навыков
•Помощь с выступлениями на конференциях и публикациями на Хабре
