Локация
Удалённо из России; указана Пенза
Компания
Джетлин развивает решения, связанные с инженерией данных и корпоративными хранилищами.
Что делать
•Проектировать архитектуру хранилищ, модели данных и стратегии партиционирования.
•Разрабатывать DAG, кастомные операторы и интеграции на Python с использованием Apache Airflow.
•Реализовывать потоковую обработку на Apache Flink и пакетную обработку на Apache Spark.
•Оптимизировать SQL-запросы, базы данных и производительность пайплайнов.
•Обеспечивать качество данных, реализовывать CDC и интеграции между системами.
•Вести техническую документацию, задачи и обращения в Jira, Confluence и сервис-деске; взаимодействовать с разработчиками, тестировщиками и смежными командами.
Требования
•От 4 лет опыта работы Data Engineer.
•Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
•PostgreSQL, MSSQL, Redis и Cassandra.
•Trino или StarRocks, Apache Kafka, Apache Flink и Apache Airflow.
•Apache Iceberg, Lakekeeper, S3 и понимание архитектуры Lakehouse.
•Python, SQL, Bash и Git.
•Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
•Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
•Свободный русский язык; английский для чтения и написания технической документации.
Хорошо, если есть
•InfluxDB, TimescaleDB или TDengine.
•Hadoop, YARN или Kubernetes.
•Продвинутый SQL и CI/CD для data-пайплайнов.
•DDD, event-driven архитектура или Apache NiFi.
Культура и преимущества
•Удалённый формат работы.
•Взаимодействие с разработчиками, тестировщиками и смежными командами.
