Описание
Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.
Задачи
•Проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow
•Развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики)
•Построение потоковой доставки данных через Apache Kafka (near real-time)
•Развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки
•Тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов)
•Работа с объектными хранилищами (S3 / MinIO) как слоем хранения
•Аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы
•Настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA)
•Взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей)
Требования
•Отличное знание Python и SQL
•Уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно)
•Проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных
•Глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников
•Умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата
•Понимание принципов проектирования отказоустойчивых и масштабируемых систем
•Привычка фиксировать правила, схемы данных, зоны ответственности и вести runbook'и
Будет плюсом
•Опыт работы с Apache Kafka (продюсеры, потребители, схемы)
•Опыт работы с S3 / MinIO и Apache NiFi
•Опыт миграции пайплайнов и наведения порядка в унаследованном технологическом ландшафте
•Бэкграунд в сферах FinTech, платежах или AntiFraud
•Навыки настройки CI/CD для дата-инженерии и подходы IaC (Infrastructure as Code)
Условия
•Высокая автономность в принятии технических решений без микроменеджмента
•Стек: Airflow, ClickHouse, Kafka, PostgreSQL, S3/MinIO, Python
•100% удалёнка
