Роль: Data Engineer
Компания: IT People
Грейд: Senior
Ставка: рассмотрим вашу
Локация: РФ и СНГ
Гражданство: РФ и РБ
Формат работы: удаленный
Срок привлечения: 6 месяцев с возможностью продления
Описание проекта
Масштабный проект цифровой трансформации, влияющий на ключевые производственные процессы.
Обязанности
•Проектирование архитектуры данных: разработка и описание целевой архитектуры хранилищ (OLAP/OLTP), определение моделей данных, выбор форматов хранения и стратегий партиционирования.
•Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов: построение DAG в Apache Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей.
•Стриминг и батч-обработка: разработка стриминговых джоб на Apache Flink и батч-процессинга на Apache Spark.
•Оптимизация производительности: практический опыт поиска и устранения узких мест, оптимизация медленных SQL-запросов (анализ execution plans, индексы, партиционирование), тюнинг конфигурации движков обработки (Flink, Spark) и баз данных для минимизации потребления ресурсов (CPU, RAM, I/O).
•Обеспечение качества данных: организация тестирования трансформаций данных, внедрение механизмов проверки целостности и актуальности данных, реализация процессов нормализации и дедупликации.
•Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB.
•Работа с Jira: ведение задач, управление статусами и связями между задачами.
•Поддержка технической и бизнес-команд: обработка заявок на поддержку существующих потоков данных или разработку новых, заведение и контроль исполнения заявок внутренних команд.
•Поддержка команды в систематизации и автоматизации процессов.
•Взаимодействие с разработчиками и тестировщиками для уточнения технических ограничений и требований.
•Обеспечение прозрачности статуса технических задач и процессов для всей команды.
Требования
•Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
•Опыт работы с ключевыми компонентами стека:
•DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
•Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
•Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
•CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
•Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
•Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
•Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку.
•Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации).
•Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
•Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC).
•Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+).
•Опыт заведения и сопровождения заявок в сервис-деске.
Будет плюсом
•Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
•Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
•Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
•Опыт работы с CI/CD для data-пайплайнов.
•Понимание принципов DDD, event-driven архитектуры.
•Опыт работы с Apache NiFi.
Опыт работы со стеком
Postgres, MSSQL Stack, Redis, Cassandra, Trino, StarRocks, Apache Kafka, Apache Flink, Apache Airflow, Apache NiFi, Apache Spark, Apache Iceberg, Apache Paimon, Lakekeeper, S3, MQTT, REST, gRPC, Python, SQL, Bash / shell-скрипты, Git
