Описание
В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют. Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза! Сейчас мы ищем кандидатов на позицию Data Engineer!
Задачи
•Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT)
•Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow
•Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka
•Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL)
•Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных)
•Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности
•Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов)
•Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки
Требования
•Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода
•Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL)
•Опыт разработки и сопровождения production data pipelines в продакшене
•Практическое использование Apache Airflow для оркестрации задач
•Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka
•Знание экосистемы Hadoop/Hive
Будет плюсом:
•Опыт с ETL-инструментами (Informatica/SAS DIS)
•Работа с NiFi для построения потоков данных
•Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg)
•Опыт работы с облачными объектными хранилищами (S3 или аналоги)
•Навыки моделирования данных (Data Vault, Kimball, 3NF)
•Опыт миграций ETL/DWH систем
•Настройка мониторинга и визуализации метрик (Grafana/Prometheus)
•Контроль качества данных (Data Quality)
Условия
•Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме
•Оформление ИП, самозанятость
•Можешь работать из любого места, где тихо и есть интернет (на территории РФ)
