Позиция: Data Engineer (ETL-миграция) (Senior)
Компания: HuntTech
Опыт: от 5 лет
ЗП: Вилка: 230 - 280тр
Формат работы: Удаленка
Локация/Гражданство: РФ
Занятость: Full-time
Описание проекта:
•Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
•Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
•Написание и оптимизация SQL для витрин данных и ETL-процессов;
•Разработка DAG-ов в Airflow;
•Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
•Разработка Spark-джобов (PySpark) для больших объемов;
•Интеграция с Kafka для потоковой передачи;
•Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
•Разбор инцидентов по качеству данных и ошибкам загрузки;
•Code review.
Требования:
•Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
•Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
•Оптимизация SQL для highload (партиционирование, индексы, explain plans);
•Oracle (PL/SQL) и PostgreSQL;
•Greenplum и/или Clickhouse;
•Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
•Hadoop (HDFS) и Hive;
•Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
•Опыт работы с биллинговыми системами (желательно телеком-домен).
Будет плюсом:
•Потоковая обработка: Kafka Streams / Spark Streaming;
•Informatica PowerCenter (понимание мигрируемой системы);
•Бинарные форматы хранения в Hadoop;
•Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
•Patroni для кластеризации PostgreSQL/Greenplum;
•S3-хранилища;
•КриптоПро или защищенные каналы передачи данных.
