Data Engineer Middle+/Senior
Формат работы: Удаленно
Локация: Любая
Занятость: Полная
З/п: 200-290 т.р. + премии
Компания: ggsel
Проект: маркетплейс цифровых товаров
Основные задачи
Разработка и поддержка пайплайнов
•Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
•Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных.
•Построение слоёв данных с использованием dbt.
•Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий.
Оптимизация хранилища и производительности
•Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест.
•Оптимизация SQL-запросов для снижения нагрузки на БД.
•Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O.
•Контроль стоимости хранения.
Администрирование и надёжность
•Обеспечение отказоустойчивости: настройка репликации и бэкапов.
•Мониторинг состояния пайплайнов и баз данных.
•Оперативное реагирование на инциденты.
Требования
Глубокое знание ClickHouse
•Проектирование схем: знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения.
•Оптимизация запросов: умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции.
•Администрирование: настройка шардирования и репликации, управление TTL, мониторинг слияний.
Инструменты ETL/ELT и оркестрация
•Оркестрация: управление сбором данных через Apache Airflow.
•Трансформация: опыт работы с dbt для построения слоев данных.
Языки и инфраструктура
•Python: разработка ETL-скриптов, работа с Pandas, интеграция с API.
•SQL: владение на уровне эксперта (аналитические запросы, оптимизация).
•Инфраструктура: Docker (для развертывания ClickHouse), Git.
Условия
•Удаленная работа из любой точки мира.
•Конкурентная зарплата + performance премия 2 раза в год.
•Гибкий график и фокус на результат.
•Оплата обучения, курсов и конференций.
•Возможность реально влиять на продукт и команду.
