О компании
Capco, компания Wipro, — глобальная технологическая и консалтинговая фирма в области управления. Награждена Консалтинговой компанией года на British Bank Award, вошла в рейтинг Топ 100 лучших компаний для женщин в Индии 2022 года по версии Avtar & Seramount. Присутствует в 32 городах по всему миру, поддерживает более 100 клиентов в банковском, финансовом и энергетическом секторах.
Вакансия
Название: Инженер данных с опытом работы с Kafka
Опыт: 5+ лет
Режим работы: Гибридный (офис Capco)
Краткое описание работы
Мы ищем опытного старшего инженера данных с глубокими знаниями Apache Kafka, Apache Spark, Scala/PySpark, SQL и современных технологий инженерии данных. Идеальный кандидат должен иметь практический опыт проектирования, разработки, оптимизации и поддержки масштабируемых конвейеров данных, включая пакетные и потоковые решения в реальном времени.
Роль требует сильных технических навыков, способности решать проблемы, опыта поддержки в продакшене и умения самостоятельно реализовывать сложные решения в области инженерии данных, а также наставничества младших членов команды.
Основные обязанности
•Проектировать, разрабатывать и поддерживать масштабируемые, надёжные и высокопроизводительные конвейеры данных для пакетной и потоковой обработки данных в реальном времени.
•Реализовывать и оптимизировать потоковые решения на базе Kafka, обеспечивая надёжный сбор, обработку и интеграцию данных.
•Разрабатывать производственные приложения для обработки данных с использованием Apache Spark и Scala/PySpark.
•Оптимизировать нагрузки Spark с помощью эффективного разбиения, кэширования, обработки перекосов, оптимизации соединений и настройки производительности.
•Писать сложные SQL-запросы с использованием сложных соединений, оконных функций, преобразований данных и оптимизации запросов.
•Проектировать, разрабатывать и устранять неполадки в ETL/ELT рабочих процессах с использованием Apache NiFi, Apache Airflow или Azure Data Factory (ADF).
•Работать с облачными решениями для хранения данных, такими как Amazon S3, Azure Data Lake Storage (ADLS) и Data Lakes.
•Разрабатывать скрипты на Python, утилиты автоматизации, переиспользуемые компоненты ETL и тестовые фреймворки.
•Мониторить и поддерживать производственные конвейеры данных, устранять инциденты, проводить анализ коренных причин (RCA) и внедрять меры по предотвращению проблем.
•Проектировать комплексные решения по инженерии данных с акцентом на масштабируемость, производительность, надёжность и удобство поддержки.
•Проводить код-ревью, обеспечивать соблюдение лучших инженерных практик и наставлять младших инженеров данных.
Требуемые технические навыки
1. Apache Kafka / Потоковая передача событий
•Глубокое понимание архитектуры Kafka, концепций потоковой передачи событий и их реализации.
•Практический опыт разработки и поддержки конвейеров данных на базе Kafka для сбора и потоковой передачи данных.
•Знание продюсеров Kafka, консьюмеров, топиков, партиций, групп консьюмеров и управления смещениями (offset).
•Понимание отказоустойчивости, гарантий доставки сообщений и оптимизации производительности потоков.
2. Apache Spark
•Сильный практический опыт работы с Apache Spark для обработки больших объёмов данных.
•Экспертиза в настройке производительности Spark, включая соединения, разбиение, кэширование, обработку перекосов данных и устранение неполадок.
•Опыт разработки и оптимизации производственных приложений на Spark.
3. Scala / PySpark
•Высокий уровень владения хотя бы одним из языков Scala или PySpark, с рабочими знаниями другого.
•Умение писать эффективный, поддерживаемый и готовый к продакшену код.
4. SQL
•Продвинутые навыки SQL, включая сложные соединения, оконные функции, оптимизацию запросов и моделирование данных.
•Опыт работы с большими наборами данных и оптимизации производительности SQL-запросов.
5. Оркестрация данных – NiFi / Airflow / ADF
•Сильный опыт работы хотя бы с одним из инструментов оркестрации, с рабочими знаниями других.
•Умение самостоятельно проектировать, разрабатывать, мониторить и устранять неполадки в конвейерах данных.
6. Облачное хранилище – S3 / ADLS / Data Lake
•Опыт работы с облачными озёрами данных и решениями для хранения.
•Понимание форматов файлов, стратегий разбиения, проектирования хранилища, управления жизненным циклом данных и аспектов производительности.
7. Python
•Хорошие навыки написания скриптов на Python и автоматизации.
•Опыт создания утилит, компонентов ETL и автоматизированных тестовых фреймворков.
8. Поддержка в продакшене и устранение неполадок
•Опыт работы с инцидентами в продакшене, мониторингом конвейеров данных и проведением анализа коренных причин.
•Умение внедрять улучшения устойчивости и обеспечивать стабильность конвейеров.
Дополнительные ожидания
•Способность самостоятельно проектировать и реализовывать средне- и сложные конвейеры данных с минимальным руководством.
•Сильные аналитические, отладочные и проблемно-решающие навыки.
•Хорошее понимание лучших практик инженерии данных, оптимизации производительности и масштабируемой архитектуры.
•Опыт проведения код-ревью и наставничества младших инженеров.
•Сильные коммуникативные и навыки сотрудничества.
Квалификации
•Степень бакалавра или магистра в области компьютерных наук, информационных технологий, инженерии или смежной дисциплины.
•Минимум 5+ лет релевантного опыта в инженерии данных, технологиях больших данных и разработке конвейеров данных.
•Практический опыт работы с потоковыми решениями на базе Kafka и распределёнными фреймворками обработки данных.
Предпочтительный профиль кандидата
Мы ищем технически сильного, практичного старшего инженера данных, который сможет самостоятельно вести проекты по инженерии данных, строить надёжные потоковые конвейеры на базе Kafka, оптимизировать крупномасштабные нагрузки Spark, решать сложные производственные проблемы и вносить вклад в технические решения по дизайну.
