Описание
Мы ищем высокомотивированного и опытного Data Engineer с сильной экспертизой в архитектуре данных, инженерии данных и фокусом на работе с геопространственными данными. Эта роль предполагает тесную работу с мультидисциплинарной командой для построения высококачественных дата-пайплайнов, которые обеспечивают аналитические решения. Эти решения будут генерировать инсайты из связанных данных организации, расширяя возможности компании принимать решения на основе данных.
Задачи
•Проектировать, строить, развертывать и поддерживать облачные и open-source решения для сбора и обработки геопространственных данных (например, погода, локации, спутниковые данные) в поддержку инициатив коммерческой аналитики Bunge
•Реализовывать масштабируемые пайплайны данных для сбора, трансформации и доставки структурированных и неструктурированных геопространственных данных
•Строить высокомасштабируемые API для доступа к геопространственным данным и запуска их обработки и анализа
•Разрабатывать событийно-ориентированные решения обработки данных с использованием Google Cloud Pub/Sub для оркестрации многоэтапных пространственных workflow
•Интегрировать и управлять потоками данных между облачными платформами, такими как AWS и GCP, базами данных, такими как PostgreSQL/PostGIS и BigQuery, и облачным хранилищем, таким как AWS S3 и Google Cloud Storage
•Сотрудничать с инженерами данных и продакт-оунерами для оптимизации и мониторинга пайплайнов и сервисов данных по производительности, надежности, масштабируемости и экономической эффективности
•Обеспечивать техническую поддержку, включая реагирование на инциденты, устранение неполадок и решение проблем в продакшн-пайплайнах данных и API-сервисах
Требования
•Степень бакалавра в области Computer Science, Geography, Engineering или релевантный опыт работы
•Навыки работы с Python, SQL, PostgreSQL/PostGIS, включая проектирование схем и оптимизацию запросов
•Практический опыт работы с большими, сложными геопространственными наборами данных (векторными или растровыми) и геопространственной обработкой
•Твердое понимание концепций геопространственных данных
•Опыт программной обработки и анализа данных с использованием геопространственных библиотек и инструментов
•Опыт работы с облачными вычислительными сервисами (предпочтительно GCP), такими как GCP BigQuery, EarthEngine Pub/Sub, Cloud Run, GCS
•Опыт работы с системами версионирования кода и управления зависимостями, такими как Azure DevOps (ADO) или GitHub
•Самомотивированность, отличные навыки решения проблем; умение эффективно работать в быстро меняющейся среде совместной работы
•Сильные коммуникативные навыки и умение объяснять технические концепции нетехническим стейкхолдерам
•Выраженное чувство числа, интеллектуальное любопытство и готовность менять позицию на основе дополнительной информации
•Сильная трудовая этика; умение работать в разных географических часовых зонах
Будет плюсом
•Практический опыт работы с событийно-ориентированными и потоковыми архитектурами данных с использованием облачной платформы и сервисов, таких как Google Cloud Pub/Sub
•Высокий уровень владения Python с подтвержденным опытом построения и поддержки продакшн пайплайнов данных и backend-систем
•Знакомство с практиками и инструментами CI/CD, такими как Terraform, ADO pipelines или GitHub Actions
•Опыт интеграции геопространственных вычислительных платформ, таких как ArcGIS и Google Earth Engine, в корпоративные workflow
•Опыт построения RESTful API с использованием индустриальных стандартных фреймворков
•Опыт в агробизнесе, устойчивом развитии или смежных отраслях
Условия
Условий в вакансии нет
