Описание
Top Selection занимается подбором персонала, IT-аутстаффингом и рекрутментом.
Задачи
•Мигрировать ETL-процессы с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL и хранимые процедуры
•Подготавливать документацию AS IS и TO BE
•Писать SQL-код
•Отслеживать метрики
Требования
•Опыт управления командой не менее 4 лет
•Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД
•Опыт разработки и сопровождения хранимых процедур и функций в СУБД
•Практический опыт использования SQL, PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных
•Опыт участия в проектах миграции ETL-систем с использованием Apache-стека
•Опыт разработки на Python, включая написание ETL-скриптов, работу с pandas и интеграцию с API
•Опыт написания и отладки DAG в Apache Airflow
•Опыт работы с PySpark, включая трансформации, оптимизацию и партиционирование
•Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек Airflow и Greenplum
•Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг и отладка
•Опыт работы с качеством данных: разработка правил валидации и анализ влияния на бизнес-процессы
•Понимание архитектурных подходов к проектированию хранилищ и различий между ETL и ELT
•Опыт работы с Hive metastore и форматами файлов Parquet и ORC
•Опыт работы с Oracle
•Опыт применения сложных SQL-запросов, включая оконные функции и объединения
•Умение оптимизировать запросы для высоконагруженной среды
•Опыт проектирования интеграций Apache-стека с Kafka и BI-системами
•Опыт настройки потоковой обработки данных
•Опыт работы с Hadoop и Hive
•Опыт работы с PostgreSQL, Greenplum и ClickHouse
•Опыт работы с Grafana и Prometheus для отслеживания ETL-процессов
•Опыт работы с биллингом
•Опыт автоматической валидации и контроля качества данных после миграции
Условия
Условий в вакансии нет
