О компании
AgileEngine — компания из списка Inc. 5000, создающая award-winning софт для брендов Fortune 500 и стартапов в более чем 17 индустриях. Компания входит в число лидеров в области разработки приложений и AI/ML, а её people-first культура отмечена несколькими наградами Best Place to Work.
Мы ищем Data Engineer с сильным опытом в Databricks и GCP для разработки масштабируемых ETL/ELT пайплайнов и продуктивизации агентных воркфлоу для автоматизации data engineering.
Задачи
•Проектировать, разрабатывать и оптимизировать масштабируемые ETL/ELT пайплайны данных, используя Databricks, PySpark и SQL.
•Строить и операционализировать агентные воркфлоу для автоматизации процессов data engineering и операционных процессов, таких как валидация данных, выявление проблем, troubleshooting и выполнение воркфлоу.
•Интегрировать агентные возможности с существующими средами Databricks, GCP, BigQuery и Delta Lake.
•Разрабатывать пайплайны данных и решения для обработки данных под новые бизнес-требования и датасеты.
•Строить переиспользуемые фреймворки и компоненты, применимые для множества задач data engineering и бизнес-кейсов.
•Внедрять проверки качества данных, мониторинг, валидацию, обработку исключений и производственные контроли.
•Оптимизировать нагрузки PySpark и SQL по производительности, надёжности и масштабируемости.
•Поддерживать тестирование, деплой, продуктивизацию и дальнейшее улучшение решений для данных и агентных решений.
•Решать сложные проблемы с данными и в продакшене, внедрять устойчивые решения.
•Сотрудничать с бизнес-командами, командами data engineering и платформенными командами для выявления дальнейших возможностей автоматизации.
Требования
•5+ лет практического опыта работы с Databricks и PySpark.
•Продвинутые навыки SQL и обработки данных.
•Практический опыт работы с GCP, особенно с BigQuery.
•Опыт работы с Delta Lake и современными архитектурами data lake/lakehouse.
•Глубокое понимание ETL/ELT, проектирования пайплайнов данных, оптимизации производительности и качества данных.
•Опыт создания надёжных, масштабируемых production-grade решений для данных.
•Сильные аналитические навыки и навыки troubleshooting.
•Понимание практик разработки программного обеспечения, включая тестирование, контроль версий, деплой, мониторинг и поддержку в продакшене.
•Уровень английского Upper-Intermediate.
Будет плюсом
•Опыт разработки или интеграции AI/агентных воркфлоу, AI-агентов или решений по автоматизации рабочих процессов.
•Опыт применения AI для автоматизации data engineering, валидации, troubleshooting или операционных процессов.
•Знакомство с фреймворками оркестрации и автоматизации.
•Опыт разработки переиспользуемых фреймворков и платформенных компонентов для data engineering.
•Опыт продуктивизации AI-решений с соответствующей валидацией, мониторингом и человеческим контролем.
Условия
•Менторство, TechTalks и персонализированные карьерные роадмапы.
•Оплата в USD с бюджетами на образование, фитнес и командные активности.
•Современные решения для Fortune 500 и топовых продуктовых компаний.
•Гибкий график с возможностью удалённой работы и работы из офиса.
