Описание
Мы ищем Junior Data Engineer в команду, которая развивает корпоративное хранилище данных (КХД / DWH) с нуля и участвует в создании регуляторных и управленческих витрин. Если тебе интересно работать с данными не только на уровне SQL-запросов, а понимать, откуда данные приходят, как трансформируются, проверяются и попадают в DWH, — будем рады познакомиться.
Задачи
•Разрабатывать и поддерживать корпоративное хранилище данных (DWH / КХД)
•Создавать модели данных и SQL/dbt-модели на основе S2T (Source-to-Target)
•Разрабатывать регуляторные и управленческие витрины данных
•Писать и оптимизировать SQL-запросы, процедуры и функции
•Настраивать и сопровождать ETL/ELT-процессы
•Разрабатывать и сопровождать задачи в Apache Airflow
•Проводить проверки качества данных (Data Quality)
•Контролировать корректность загрузки данных и искать причины ошибок
•Работать с логами и мониторингом процессов загрузки
•Участвовать в работе с CDC и потоками данных
•Использовать Git для работы с кодом
•Взаимодействовать с аналитиками, разработчиками и другими участниками проекта
•Документировать разработанные решения
Требования
SQL — обязательно
•Уверенно знать JOIN
•Уверенно знать GROUP BY
•Уверенно знать HAVING
•Уверенно знать подзапросы
•Уверенно знать CTE
•Уверенно знать оконные функции
•Уверенно знать агрегатные функции
•Уверенно знать фильтрацию и сортировку
•Понимать NULL
•Знать основы оптимизации SQL-запросов
DWH / КХД — обязательно
•Понимать, что такое DWH / КХД и зачем оно используется
•Знать отличие OLTP от OLAP
•Понимать, что такое факт и измерение
•Понимать, что такое витрина данных
•Знать базовые принципы моделирования данных
•Понимать, как данные проходят путь Source → Staging → DWH → Data Mart
ETL / ELT — обязательно
•Понимать, что такое ETL и ELT
•Знать этапы извлечения, трансформации и загрузки данных
•Понимать, как строится процесс загрузки данных из источника в DWH
•Знать, что такое полная и инкрементальная загрузка
•Знать базовые принципы трансформации данных
Data Quality — обязательно
Будет плюсом:
•желательно — простые stored procedures / functions
•желательно иметь опыт с pandas
•dbt
•Apache Airflow
•Oracle
•PL/SQL
•SQL optimization
•Linux
•CDC
•Oracle GoldenGate
•построение DWH с нуля
•S2T-мэппинг
•Data Quality frameworks
•опыт с Data Mart
•опыт работы с RegTech / банковскими / финансовыми данными
Условия
•Ташкент, офис
•График: 5/2, 09:00–18:00
•Полная занятость
•Зарплата: от 8 000 000 сум
•Работа в команде Data / DWH
•Наставничество и возможность профессионального роста
•Работа над реальным RegTech-проектом
•Возможность развиваться в направлении Data Engineering / DWH
