Описание
Capco — глобальная технологическая и консалтинговая компания в области управления, которая помогает финансовым институтам решать задачи в сферах банкинга, платежей, рынков капитала, управления состоянием и активами.
Задачи
•Проектировать, разрабатывать и поддерживать масштабируемые data pipeline и решения по обработке данных
•Разрабатывать процессы трансформации и обработки данных с использованием Python и Apache Spark
•Работать с крупномасштабными наборами данных в распределённых средах с использованием Hadoop и смежных технологий
•Строить и поддерживать облачные решения для работы с данными на Google Cloud Platform (GCP)
•Разрабатывать надёжные процессы загрузки данных, интегрируя данные из различных источников
•Реализовывать трансформации данных, правила валидации и проверки качества данных
•Устранять проблемы с data pipeline и поддерживать оптимизацию производительности
•Работать в Linux-средах, включая скриптинг, развёртывание и операционную деятельность
•Сотрудничать с Data Engineers, архитекторами, аналитиками и другими заинтересованными сторонами проекта для перевода бизнес-требований в технические решения
•Участвовать в код-ревью и следовать лучшим практикам software engineering и data engineering
•Создавать и поддерживать техническую документацию по потокам данных, зависимостям, конфигурациям и операционным процедурам
•Поддерживать развёртывание, тестирование, стабилизацию и текущее сопровождение решений по работе с данными
Требования
•2–4+ лет коммерческого опыта в Data Engineering или на аналогичной позиции
•Хорошие практические навыки программирования на Python
•Практический опыт работы с Apache Spark, включая создание и поддержку задач обработки данных
•Опыт работы с Hadoop или распределёнными экосистемами обработки данных
•Хорошее знание Linux и командной строки
•Коммерческий опыт работы с Google Cloud Platform (GCP) и соответствующими сервисами для работы с данными
•Хорошее понимание процессов ETL/ELT, data pipeline и концепций трансформации данных
•Рабочее знание SQL и реляционных концепций данных
•Понимание практик обеспечения качества данных, мониторинга и устранения неполадок
•Знакомство с Git и современными практиками разработки ПО
•Умение эффективно работать в Agile-среде и взаимодействовать с распределёнными командами
•Хорошие коммуникативные навыки
•Английский язык не ниже уровня B2
Будет плюсом
•Опыт работы с сервисами GCP, такими как BigQuery, Cloud Storage, Dataproc, Dataflow или Pub/Sub
•Опыт в финансовой/банковской сфере
•Опыт работы с инструментами оркестрации, такими как Apache Airflow
•Знакомство с процессами CI/CD для решений по работе с данными
•Знание концепций моделирования данных и хранилищ данных (data warehouse)
•Опыт работы с клиентами из финансовых услуг или банковского сектора
•Знакомство с технологиями контейнеризации, такими как Docker или Kubernetes
Условия
•B2B контракт
•Инновационные инициативы в области AI и автоматизации для ведущих финансовых институтов
