Описание
Мы ищем практикующего Senior Software Engineer для присоединения к команде Integration Engineering и разработки интеграций передачи файлов на внутренней managed file transfer платформе. Платформа построена на Azure Logic Apps, Azure Data Factory и Terraform, с использованием AWS сервисов для межоблачных переносов, и предоставляет утверждённые, переиспользуемые паттерны для перемещения файлов между внутренними системами, облачным хранилищем и внешними партнёрами. Первое задание — миграция Apache Hive в Databricks, которая требует быстрого построения ряда новых интерфейсов на платформе по установленным паттернам. Нужен человек, который может быстро включиться в работу и выполнять задачи самостоятельно.
Задачи
•Вести обсуждения discovery и дизайна с бизнес- и техническими стейкхолдерами для определения требований к передаче файлов: источник и назначение, частота, размеры файлов и требования безопасности
•Проектировать каждое решение по передаче файлов, выбирая и применяя подходящий платформенный паттерн (например, SFTP to Blob, Blob to SFTP, S3 to Blob, Azure File Share), и расширять платформу новыми паттернами при необходимости
•Строить и развёртывать переиспользуемые, конфигурируемые workflow с использованием Azure Logic Apps, Data Factory, Storage Accounts, Key Vault и Azure Monitor, а также AWS S3 и Transfer Family при необходимости
•Разрабатывать интерфейсы миграции, интегрирующиеся с Databricks как целью и с Hive-источниками при необходимости
•Определять и развёртывать инфраструктуру и конфигурацию workflow как код с использованием Terraform
•Создавать и поддерживать автоматизированные тесты (функциональные, тесты подключения, регрессионные), устранять неполадки и мониторить workflow, быстро исправлять проблемы
•Поставлять интеграции, безопасные по умолчанию, используя managed identities, секреты в Key Vault, SSH-аутентификацию по ключам, PGP-шифрование там, где требуется, а также мониторинг и оповещения
•Определять стандарты интеграции, документацию и шаблоны, документировать созданные интерфейсы и workflow
•Сотрудничать с командой разработки, бизнес-аналитиками и проект-менеджерами для уточнения требований, поддержки функционального и UAT тестирования, соблюдения сроков поставки
•Вносить вклад в общие платформенные возможности (InnerSource) и переиспользовать их, отдавая предпочтение стандартным решениям перед разовыми
Требования
•3+ года практического опыта в software engineering с фокусом на облачных интеграциях
•Экспертиза в Azure Logic Apps (Consumption и/или Standard: триггеры, коннекторы, обработка ошибок, выражения), Azure Data Factory и Storage Accounts (Blob и File Shares)
•Владение Key Vault и Azure Monitor, включая мониторинг и оповещения с KQL
•Сильное знание протоколов и паттернов передачи файлов: SFTP, SMB и переносы в облачное хранилище
•Рабочее знание AWS S3 и AWS Transfer Family
•Практические навыки Terraform на Azure (модули, управление state, CI/CD развёртывание)
•Опыт в безопасной передаче файлов с использованием managed identities, секретов Key Vault, SSH-ключей и PGP
•Знакомство с автоматизированным тестированием workflow передачи файлов, Git и CI/CD (Azure DevOps или GitHub Actions)
•Опыт проектирования масштабируемых, шаблонизированных, конфигурационно-ориентированных паттернов интеграции
•Опыт ведения discovery и дизайна с бизнес- и техническими стейкхолдерами по множеству систем или проектов
•Способность работать самостоятельно, быстро включаться в работу и переключаться между проектами по мере изменения приоритетов, с сильным чувством ответственности и ясной коммуникацией
•Комфортная работа в условиях сжатых сроков, проактивность, умение чётко общаться со стейкхолдерами
•Английский язык на уровне Upper-Intermediate (B2) или выше
Будет плюсом
•Опыт работы с Databricks (jobs, workflows, REST API, Unity Catalog)
•Понимание Apache Hive / Hadoop и проектов миграции данных
•Знакомство с Azure Functions, Service Bus и Event Grid
•Опыт работы по Agile
Условия
Условий в вакансии нет
