Описание
Группа компаний Top Selection занимается трудоустройством IT-специалистов на проектную занятость.
Задачи
•Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache-стек (S3, Airflow, NiFi, Kafka, Greenplum)
•Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код
•Писать и оптимизировать SQL для витрин данных и ETL-процессов
•Разрабатывать DAG в Airflow
•Настраивать пайплайны в NiFi с источниками Oracle и PostgreSQL и приёмниками S3 и файловыми архивами
•Разрабатывать Spark-задачи на PySpark для больших объёмов данных
•Интегрировать Kafka для потоковой передачи данных
•Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики
•Разбирать инциденты, связанные с качеством данных и ошибками загрузки
•Проводить проверку кода
Требования
•Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек
•Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы
•Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения
•Знание Oracle (PL/SQL) и PostgreSQL
•Знание Greenplum и/или ClickHouse
•Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow
•Знание Hadoop (HDFS) и Hive
•Опыт мониторинга ETL с Grafana/Prometheus или Victoria Metrics
•Опыт работы с биллинговыми системами
Будет плюсом: опыт потоковой обработки с Kafka Streams/Spark Streaming, знание Informatica PowerCenter, бинарных форматов хранения в Hadoop, различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL, Patroni для кластеризации PostgreSQL/Greenplum, S3-хранилищ, КриптоПро или защищённых каналов передачи данных
Условия
Условий в вакансии нет
