Описание
Analytics Data Platform Batch team владеет платформой, которая обеспечивает пакетную обработку данных внутри инфраструктуры данных Datadog. Команда запускает 800k+ Spark-джобов ежедневно - а также PySpark, Ray и Python-воркфлоу - обслуживая 50+ внутренних команд, включая billing, cost management, security intelligence, applied AI и другие.
Это platform engineering команда: клиенты - внутренние data-инженеры и дата-сайентисты Datadog, а продукт - инфраструктура, абстракции и тулинг, на которых они строят свою работу. Команда работает на пересечении распределённых систем, developer experience, cost engineering и AI-assisted автоматизации - решая задачи, влияющие на пайплайны в масштабе.
В Datadog ценят офисную культуру - отношения, которые она строит, креативность, которую привносит, и совместную работу вместе. Компания работает как гибридное рабочее место, чтобы сотрудники могли выстроить работу-жизнь баланс, который им подходит.
Задачи
•AI-driven version migration automation: Spark и JVM
•Разработка agentic-тулинга, который анализирует совместимость, генерирует PR и оркестрирует multi-datacenter тестирование
•Engine-agnostic batch execution
•Platform reliability и scale
•Spark Pod Autosizing - CPU и memory allocations
•Понимание tradeoffs между разными execution models
Требования
•6+ лет опыта
•Значительный опыт backend-программирования на одном или нескольких языках (Go, Java, Rust, Python, Scala)
•Знание внутреннего устройства Spark/инфраструктуры - executor lifecycle, memory model, dynamic allocation, resource tuning
•Опыт построения платформы или инфраструктуры, на которую опираются другие инженеры
•Опыт в distributed systems engineering - построение высокопроизводительных систем большого масштаба
•Понимание основ Kubernetes
•Отличные коммуникативные навыки (английский язык)
•Высокая проактивность и опыт cross-team collaboration
•Интерес к использованию AI-инструментов для улучшения кода, решения проблем и разработки - или готовность этому учиться
•Подтверждённый опыт использования AI coding tools в повседневной работе, умение проверять, критиковать и улучшать AI-generated output
Бонусом: интеграция AI/LLM в инженерные воркфлоу и опыт в Observability и cost attribution.
Datadog ценит людей из разных сфер жизни. Компания понимает, что не все кандидаты будут соответствовать всем требованиям с первого дня - это нормально. Если вы увлечены технологиями и хотите расти, вас призывают подать заявку.
Условия
•New hire stock equity (RSUs) и employee stock purchase plan (ESPP)
•Непрерывное профессиональное развитие, обучение продукту и career pathing
•Intradepartmental mentor and buddy program для нетворкинга внутри компании
•Инклюзивная культура компании, возможность присоединиться к Community Guilds (employee resource groups)
•Доступ к Inclusion Talks - внутренним панельным дискуссиям
•Бесплатные глобальные услуги по психическому здоровью для сотрудников и их зависимых от 6 лет
•Конкурентные глобальные бенефиты
Льготы и возможности для роста, перечисленные выше, могут отличаться в зависимости от страны трудоустройства и характера занятости с Datadog.
Datadog - ведущая платформа observability и безопасности для эры AI, обеспечивающая компаниям единую видимость всего технологического стека для управления сложностью в масштабе. Она объединяет приложения, инфраструктуру, данные, модели и безопасность в одном месте, используя AI для обнаружения и устранения проблем до того, как они повлияют на клиентов. Datadog, которой доверяют компании из списка Fortune 500 и быстрорастущие лидеры в области AI, позволяет бизнесу двигаться быстрее с ясностью и уверенностью.
