Описание
Наш клиент, работающий в сфере шиппинга — самой стабильной, надёжной и прибыльной отрасли Кипра — переносит свой ландшафт данных на единую современную платформу данных на базе Microsoft Fabric. Компания объединяет финансовые и операционные данные из исходных систем в единую управляемую модель. Вы присоединитесь к небольшой, высококвалифицированной команде, работающей по высоким стандартам: четкие конвенции, код-ревью и сильный фокус на то, чтобы делать всё правильно. В команде такого размера ваша работа заметна и напрямую влияет на то, как бизнес принимает решения.
Задачи
•Строить и поддерживать пайплайны загрузки данных из баз данных, REST API и файловых источников, включая аутентификацию, инкрементальную загрузку и обработку ошибок
•Трансформировать и подготавливать данные: разрабатывать SQL и PySpark-трансформации, которые очищают, стандартизируют и историзируют исходные данные в согласованные, переиспользуемые датасеты
•Анализировать новые источники данных, чтобы понять их структуру, ключи и то, как данные меняются со временем, и документировать находки до начала разработки
•Поддерживать работоспособность платформы: мониторить запланированные загрузки, расследовать и устранять сбои до того, как их заметит бизнес
•Строить с учётом качества: добавлять проверки качества данных в пайплайны, сверять загруженные данные с источником и гарантировать, что повторный запуск никогда не приводит к потере или дублированию данных
•Работать в тесном контакте со старшим data engineer: ежедневная работа со старшим data engineer, который спроектировал большую часть платформы и поможет быстро освоить её паттерны и конвенции
•Следовать и вносить вклад в инженерные стандарты команды, использовать систему контроля версий и пайплайны деплоя, документировать работу так, чтобы её могли поддерживать другие
Требования
•2–4 года практического опыта в data engineering или смежной роли
•Сильный SQL: joins, оконные функции, CTE, написание читаемой и производительной логики трансформации
•Рабочие знания Python, желательно для обработки данных (PySpark или pandas)
•Опыт построения пайплайнов данных с инструментом оркестрации, таким как Azure Data Factory, Fabric pipelines или аналогичный
•Опыт работы с REST API и JSON-данными, включая аутентификацию и пагинацию
•Прочное понимание концепций хранилищ данных: многослойные архитектуры, инкрементальные загрузки, slowly changing dimensions
•Базовый опыт работы с Git и работа в общей кодовой базе
•Свободный английский язык, устный и письменный
•Степень бакалавра в области Computer Science, Engineering или смежной области, либо эквивалентный практический опыт
Будет плюсом
•Опыт работы с Microsoft Fabric (Lakehouse, notebooks, pipelines) или аналогичными платформами, такими как Databricks или Synapse
•Опыт работы со Spark и форматом Delta
•Знакомство с metadata-driven фреймворками загрузки данных
•CI/CD и пайплайны деплоя (например, Azure DevOps)
•Основы Azure, такие как Key Vault, storage accounts и Entra ID / service principal аутентификация
•Опыт работы с данными Dynamics 365 F&O или в сфере шиппинга, логистики или морской отрасли
•Опыт работы в Agile/Scrum командах
Условия
•Привлекательная зарплата от 50 000 до 60 000 евро gross в год
•Годовая зарплата включает 13-ю зарплату и дополнительный бонус в конце финансового года
•Стабильный провидентный фонд (Provident fund)
•Гибкий график работы
•Частная медицинская страховка для сотрудника и семьи
•Очень стабильная рабочая среда в самом стабильном секторе страны, предлагающая исключительную гарантию занятости
•Отличные командные инициативы и программы обучения и развития
