Описание
Мы ищем Lead Data Engineer с сильным опытом работы с AWS для проекта миграции данных у нашего клиента. Вы возглавите миграцию устаревшего локального хранилища данных (Sybase IQ) на современную архитектуру на базе AWS, разрабатывая как real-time, так и batch-пайплайны данных. Роль сочетает техническое лидерство с непосредственной инженерной работой: вы определяете целевую архитектуру, направляете команду и доводите решение до конца. Это не чисто консультативная позиция. Это долгосрочный контракт в сильно регулируемой банковской среде, работа полностью в офисе.
Задачи
•Возглавить миграцию устаревшего хранилища данных (Sybase IQ) на платформу данных на базе AWS.
•Спроектировать и реализовать целевую архитектуру на базе Amazon S3 и Amazon Athena.
•Создавать real-time обработку данных с использованием AWS Lambda на Python.
•Разрабатывать и запускать batch-обработку с использованием AWS Glue.
•Планировать и выполнять миграцию данных, включая конвертацию схем, валидацию данных и сверку источника с целью.
•Обеспечивать техническое лидерство для команды data engineering: устанавливать инженерные стандарты, проводить ревью кода, наставлять инженеров.
•Тесно работать с архитекторами и стейкхолдерами клиента, переводя бизнес-требования в надежные решения по данным.
•Обеспечивать качество данных, безопасность и соответствие требованиям в регулируемой финансовой среде.
•Готовить техническую документацию: дизайн решений, схемы потоков данных, операционные руководства.
Условия работы:
•Дата начала: середина ноября
•Локация: Прага
•Долгосрочная контрактная роль
•Контракт с EU LLC
Требования
•5+ лет опыта в Data Engineering, включая лид или senior техническую роль.
•Подтвержденный практический опыт построения платформ данных на AWS в корпоративных средах, с проверяемыми референсами по проектам.
•Сильный опыт работы с Amazon S3 и Amazon Athena как основой архитектуры data lake / аналитики.
•Практический опыт разработки real-time обработки с AWS Lambda на Python.
•Практический опыт построения batch-пайплайнов с AWS Glue.
•Опыт проектов миграции хранилищ данных (с локальных на облачные).
•Сильные навыки Python и SQL.
•Умение вести технические обсуждения и принимать решения о решении и дизайне.
•Консалтинговый склад ума → всегда искать решение для клиента.
•Отличный английский, письменный и устный.
•Готовность работать полностью в офисе и иногда проявлять гибкость по рабочим часам.
Обязательно:
•AWS: S3, Athena
•AWS Lambda (Python) для real-time обработки
•AWS Glue для batch-обработки
•Python и SQL
•Sybase IQ
•Опыт в банковской сфере / финансовых услугах
Будет плюсом:
•Другие AWS сервисы данных (например, Redshift, Step Functions, Kinesis, Lake Formation)
•Infrastructure as Code (например, Terraform, CloudFormation)
•CI/CD для пайплайнов данных
