Описание: Top Selection — группа компаний, занимающаяся трудоустройством IT-специалистов на проектную занятость в сфере телеком.
Задачи:
•Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache-стек
•Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код
•Писать и оптимизировать SQL для витрин данных и ETL-процессов
•Разрабатывать DAG в Airflow
•Настраивать пайплайны в NiFi для источников Oracle и PostgreSQL и приёмников S3 и файловых архивов
•Разрабатывать задания Spark на PySpark для больших объёмов данных
•Интегрировать Kafka для потоковой передачи данных
•Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики
•Разбирать инциденты с качеством данных и ошибками загрузки
•Проводить проверку кода
Требования:
•Опыт миграции ETL-систем
•Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы
•Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения
•Знание Oracle (PL/SQL) и PostgreSQL
•Знание Greenplum и/или ClickHouse
•Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow
•Знание Hadoop (HDFS) и Hive
•Опыт мониторинга ETL в Grafana/Prometheus или VictoriaMetrics
•Опыт работы с биллинговыми системами
Будет плюсом:
•Опыт миграции с Oracle/Informatica на Apache-стек
•Опыт в телеком-домене
•Потоковая обработка в Kafka Streams/Spark Streaming
•Знание Informatica PowerCenter
•Знание бинарных форматов хранения в Hadoop
•Знание различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL
•Знание Patroni
•Знание S3-хранилищ
•Знание КриптоПро или защищённых каналов передачи данных
Условия:
•Оформление только как ИП
•Локация: РФ, часовой пояс МСК ± 3ч
