Senior Data инженер
Компания: RedLab
Локация: РФ, РБ
Гражданство: РФ, РБ
Опыт: больше 5-ти лет
Формат работы: удаленно
Занятость: Полная/проектная
ЗП: 350 000 - 380 000 RUB (гросс)
Требования:
•Опыт работы Data Engineer от 5 лет.
•Знание методологии Data Vault 2.0
•Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных.
•Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных.
•Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.
•Практический опыт работы с Apache Spark.
•Опыт работы с Apache Airflow, Apache Kafka
•Опыт работы с системами потоковой обработки данных
•Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;
•Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных.
•Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).
•Уверенное владение Git и понимание процессов CI/CD.
•Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).
•Понимание принципов построения отказоустойчивых и масштабируемых решений.
•Опыт использования dbt для построения трансформационных слоев данных.
•Практика внедрения Data Quality решений (Great Expectations, Soda и др.).
•Опыт работы с Data Catalog и Data Governance инструментами.
Задачи на проекте:
•Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.
•Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных.
•Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.
•Проектирование моделей данных для аналитических и операционных сценариев.
•Оптимизация производительности процессов обработки данных и SQL-запросов.
•Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных.
•Участие в проектировании архитектуры платформы данных и выборе технологических решений.
•Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных.
•Подготовка технической документации и архитектурных артефактов.
•Проведение код-ревью, техническое менторство и участие в развитии команды.
