Описание
Описания нет
Задачи
•Опыт работы с DWH, отчетностью (в банках), формирование отчетов, понимание разницы атрибутов
•Построение потоков данных для хранилища
•Оптимизация выгрузок данных из систем источников
•Реализация трансформаций в целевые модели данных хранилища
•Выгрузка данных в другие системы для дальнейшей обработки
•Реализация сверочных отчетов
Требования
•Опыт работы в области разработки хранилищ больших данных не менее 2 лет
•Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных)
•Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем
•Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT
•Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ
•Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc
•Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Python
•Опыт использования инструментов трансформации данных (DBT, Spark, Python)
•Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql)
•Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB)
•Опыт построения хранилищ для финансового сектора
•Опыт работы с инструментами DataGovernance
•Опыт в области проектирования схемы данных, баз данных и хранилищ
•Опыт работы с платформами больших данных (напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio)
•Опыт интеграции с технологиями CDC (GoldenGate, Informatica, Debezium)
•Опыт с S3 и Spark
Условия
Условий в вакансии нет
