Описание
Описания нет
Задачи
•Обследование действующих интеграций, состава данных и расчётов
•Согласование изменений с перечнем показателей, потребителей, глубину исторических данных и периодичностью обновления
•Составление и актуализация необходимой документации, спецификаций источников данных, структуры данных, правил преобразования и реестра расчётов
•Согласование документов и изменений/дополнений в системах управления метаданными
•Разработка новых и доработка существующих интеграций в соответствии с согласованной схемой интеграции
•Разработка дата-продуктов, сервисов доступа к данным и публикации данных, витрин данных, процессов расчетов и преобразования данных в различных слоях ХД
•Выполнение и контроль ошибок загрузки согласованной истории данных, настройка регулярного обновления данных
•Тестирование процессов интеграции и обработки данных, сверка с источниками и устранение выявленных дефектов
Требования
•Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL в хранилищах данных на СУБД Greenplum или ADB
•Опыт разработки с использованием dbt, оптимизации процессов загрузки и обработки больших витрин
•Экспертиза в реализации ETL / ELT для хранилищ или озер данных
•Уверенное владение SQL и PL/SQL СУБД Greenplum (ADB)
•Оптимизация SQL, в том числе для целей OLAP
•Навыки работы с Apache Airflow — создание DAG'ов, управление зависимостями ETL-пайплайнов
•Понимание Data Vault и навыки работы с ней
•Знание подходов к разработке, документированию, тестированию потоков данных
•Обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala)
•Понимание работы и взаимодействия с Kafka
•Опыт работы в Jira, Confluence, Git
•Готовность оперативно погрузиться в сложную архитектуру с множеством требований к разработке, неймингу объектов и т.д.
•Самостоятельность: готовность докручивать постановки от аналитиков самостоятельно, документировать результаты своей работы в базе знаний
•Готовность работать в условиях сжатых сроков
•Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды, а также смежными подразделениями и экспертами заказчика
Будет плюсом: опыт работы с архитектурой Data Mesh
Условия
•Удаленный формат работы
•Официальное оформление в аккредитованную IT-компанию (в штат Selecty)
•Гарантированный официальный оклад (обсуждается по итогам собеседования)
•ДМС со стоматологией, начиная с ИС
•Скидки от наших партнеров на изучение иностранных языков, фитнес, кино
•Реферальная программа: бонус за рекомендации
