Локация
Алматы, микрорайон Самал-2; работа на месте работодателя или в гибридном формате.
Компания
Agile Soft — IT-компания, выполняющая проект для банка.
Что делать
•Строить потоки данных для хранилища и реализовывать трансформации в целевые модели данных.
•Оптимизировать выгрузки данных из систем-источников и выгружать данные в другие системы для дальнейшей обработки.
•Формировать отчетность и реализовывать сверочные отчеты для банковских данных.
•Работать с DWH, атрибутами данных и хранилищами больших данных.
Требования
•От 3 до 6 лет опыта работы; не менее 2 лет опыта разработки хранилищ больших данных.
•Обязательны сильные навыки программирования на Python. Также требуется опыт написания Bash-скриптов в UNIX.
•Знание концепций данных и аналитики: моделирование, ETL, инструменты отчетности, управление данными и хранение данных.
•Знание фундаментальных основ Computer Science, включая устройство распределенных файловых систем.
•Опыт работы с ETL/ELT-системами и инструментами Informatica, Airflow, Dagster, Apache NiFi, Apache Spark и PXF; опыт трансформаций в dbt.
•Опыт работы со стриминговыми сервисами Apache Kafka и RabbitMQ, а также с технологиями CDC: GoldenGate, Informatica и Debezium.
•Опыт работы с отчетами и пакетами бизнес-аналитики Tableau, QlikView или SAP BO.
•Опыт работы с реляционными СУБД Oracle, MS SQL Server и MySQL, а также с нереляционными и колоночными базами Greenплум, Vertica, векторными БД, ClickHouse и Scylla DB.
•Опыт построения хранилищ для финансового сектора. Требуется опыт проектирования схем данных, баз данных и хранилищ, работы с инструментами Data Governance и платформами больших данных HBase, ClickHouse, Druid, MemSQL, Hive или MinIO.
•Опыт работы с S3 и Spark.
Культура и преимущества
•Проектная работа в IT-компании над банковским проектом.
•Гибридный формат с возможностью работы на месте работодателя в Алматы.
