Описание компании
AgileEngine создаёт отмеченное наградами ПО для брендов из списка Fortune 500 и стартапов более чем в 17 индустриях, с экспертизой в разработке приложений и AI/ML.
Задачи
•Проектировать, разрабатывать и оптимизировать масштабируемые ETL/ELT пайплайны данных с использованием Databricks, PySpark и SQL
•Строить и внедрять в эксплуатацию агентные workflow для автоматизации задач data engineering и операционных процессов, включая валидацию данных, идентификацию проблем, troubleshooting и выполнение workflow
•Интегрировать агентные возможности с существующими окружениями Databricks, GCP, BigQuery и Delta Lake
•Разрабатывать пайплайны данных и решения для обработки данных под новые бизнес-требования и датасеты
•Строить переиспользуемые фреймворки и компоненты для задач data engineering и бизнес-задач
•Реализовывать проверки качества данных, мониторинг, валидацию, обработку исключений и production-контроли
•Оптимизировать PySpark и SQL нагрузки по производительности, надёжности и масштабируемости
•Поддерживать тестирование, деплой, продуктивизацию и дальнейшее развитие data- и агентных решений
•Устранять сложные проблемы с данными и в продакшене, внедрять устойчивые решения
•Сотрудничать с бизнесом, командами data engineering и platform для выявления новых возможностей автоматизации
Требования
•5+ лет практического опыта с Databricks и PySpark
•Продвинутые навыки SQL и обработки данных
•Практический опыт работы с GCP, в частности с BigQuery
•Опыт работы с Delta Lake и современными архитектурами data lake/lakehouse
•Глубокое понимание ETL/ELT, проектирования пайплайнов данных, оптимизации производительности и качества данных
•Опыт построения надёжных, масштабируемых production-решений
•Сильные аналитические навыки и навыки troubleshooting
•Понимание практик software engineering, включая тестирование, контроль версий, деплой, мониторинг и поддержку продакшена
•Английский язык уровня Upper-Intermediate
Будет плюсом:
•Опыт разработки или интеграции AI/агентных workflow, AI-агентов или решений для автоматизации workflow
•Опыт применения AI для автоматизации data engineering, валидации, troubleshooting или операционных процессов
•Знакомство с фреймворками оркестрации и автоматизации
•Опыт разработки переиспользуемых фреймворков для data engineering и компонентов платформы
•Опыт продуктивизации AI-решений с соответствующей валидацией, мониторингом и человеческим контролем
Условия
•Конкурентная компенсация в USD
•Бюджеты на обучение, фитнес и командные активности
•Менторство, TechTalks и персонализированные планы роста
•Гибкий график с возможностью работать из дома или офиса
•Проекты с современными решениями и топовыми клиентами, включая предприятия Fortune 500 и ведущие продуктовые бренды
