Описание
Ищем Senior Data Engineer с опытом проектирования архитектуры данных, разработки ETL/ELT-пайплайнов и оптимизации хранилищ OLAP/OLTP.
Задачи
•Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования.
•Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow.
•Реализация потоковой обработки на Apache Flink и пакетной обработки на Apache Spark.
•Оптимизация SQL-запросов, баз данных и производительности пайплайнов.
•Обеспечение качества данных, реализация CDC и интеграций между системами.
•Ведение технической документации, задач и обращений в Jira/Confluence и сервис-деске.
•Взаимодействие с разработчиками, тестировщиками и смежными командами.
Требования
•От 4 лет опыта работы Data Engineer.
•PostgreSQL, MSSQL, Redis, Cassandra.
•Trino/StarRocks, Apache Kafka, Apache Flink, Apache Airflow.
•Apache Iceberg, Lakekeeper, S3, понимание архитектуры Lakehouse.
•Python, SQL, Bash, Git.
•Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
•Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
•Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
•Свободный русский язык, английский — для чтения и написания технической документации.
Будет плюсом: InfluxDB, TimescaleDB, TDengine; Hadoop, YARN, Kubernetes; продвинутый SQL, CI/CD для data-пайплайнов; DDD, event-driven архитектура, Apache NiFi.
Условия
Условий в вакансии нет.
