Описание
Привет! Мы – компания «Градиент». Мы развиваем корпоративную платформу данных, на которой строится аналитика и отчётность компании. Сейчас ищем Инженера интеграций, который будет отвечать за надёжную доставку данных из множества источников — API, файлов и баз данных — и обеспечивать их качество и доступность для бизнеса. В этой роли ты будешь влиять на надёжность данных, которыми пользуется вся компания, работать с современным стеком и решать содержательные инженерные задачи — от проектирования потоков до их промышленной эксплуатации.
Задачи
•Проектирование и разработка ETL/ELT-потоков для API, файловых источников и баз данных
•Создание и сопровождение DAG в Apache Airflow
•Организация ежедневных пакетных загрузок больших объёмов данных
•Разработка Python-коннекторов и обработчиков: тайм-ауты, повторы, пагинация, обработка ошибок
•Обеспечение надёжности пайплайнов: идемпотентность, корректная дозагрузка, повторный запуск, восстановление после сбоев
•Работа с Microsoft SQL Server и PostgreSQL: запросы, загрузки, индексы, транзакции, блокировки, планы выполнения, обслуживание
•Контроль качества данных: полнота, свежесть, уникальность, согласованность
•Настройка мониторинга, уведомлений, журналирования и диагностики потоков
•Поддержка конфигурации, доступов, резервирования и восстановления Airflow и СУБД
•Взаимодействие с владельцами данных, аналитиками, разработчиками и инфраструктурной командой
Требования
•Практический опыт разработки и сопровождения интеграционных потоков данных
•Уверенное владение Python для промышленной обработки данных и интеграций
•Сильный SQL, опыт работы с Microsoft SQL Server и PostgreSQL
•Опыт работы с Apache Airflow: DAG, зависимости, retries, backfill, расписания, pools, ограничение параллелизма, логи, диагностика
•Понимание ETL/ELT: инкрементальные загрузки, checkpoint, upsert, транзакции, идемпотентность
•Опыт работы с большими объёмами данных: порционная обработка, bulk-загрузка, контроль памяти, диска и времени выполнения
•Практика интеграций с API и файловыми источниками
•Понимание принципов мониторинга качества и надёжности потоков
•Опыт работы с Git и в командном процессе разработки
•Ответственность за результат, внимательность к данным, привычка разбираться в первопричинах сбоев
Условия
•Комфортный офис в Бизнес-центре "Алкон", расположенном рядом с метро Сокол
•График работы с 09:00 до 18:00 для поддержания баланса между работой и личной жизнью, гибридный формат и ДМС — после успешного прохождения испытательного срока
•Испытательный срок длительностью 3 месяца для взаимной адаптации
•Скидки на всю продукцию компании
