Описание
Клиент строит управляемый стандарт обмена данными между продуктовыми сервисами, аналитикой и AI/ML. Его команда Data Platform предоставляет контракты, контроли, пути публикации, метаданные каталога, правила жизненного цикла, lineage, разрешения и runtime-компоненты, необходимые для безопасных и повторно используемых данных в масштабе.
Задачи
•Проектировать и разрабатывать платформенные сервисы, инструменты и воркфлоу для публикации и потребления данных на основе контрактов
•Строить production-путь для платформенных таблиц публикации PostgreSQL, Debezium CDC, Kafka-топиков и регистрации в каталоге
•Создавать GitOps-воркфлоу для проверки, валидации и сверки контрактов, схем, владения, жизненного цикла, совместимости, политик метаданных и желаемого состояния runtime как кода
•Строить инструменты, дающие продуктовым инженерам быструю обратную связь перед публикацией или изменением data-продуктов
•Помогать определять data-продукты, контракты публикации, эволюцию схем, стабильность полей, семантику удаления, политики доступа, lineage и cost attribution
•Эксплуатировать и улучшать runtime-модель CDC, включая Kubernetes-ворклоды, изоляцию по источникам, offsets, историю схем, heartbeats, signal channels, видимость lag, replay, ресnaпшоттинг и восстановление
•Интегрировать платформенные метаданные в DataHub, чтобы инженеры могли находить data-продукты, понимать владение, трассировать lineage и оценивать влияние изменений
•Работать с командами продукта, инфраструктуры, data engineering, аналитики и AI/ML, чтобы сделать стандартный путь проще и безопаснее, чем точечные bespoke-интеграции
Требования
•Сильный опыт создания и эксплуатации production software-систем, желательно в платформенных, инфраструктурных, backend или data-intensive средах
•Глубокое понимание트레йд-оффов распределённых систем, включая надёжность, идемпотентность, replay, eventual consistency, границы владения, совместимость и операционные сбои
•Практический опыт с PostgreSQL или другими реляционными базами данных, включая проектирование схем, миграции, транзакции, репликацию или операционную производительность
•Опыт с Kafka, event streaming, CDC, Debezium или смежными технологиями перемещения данных
•Опыт создания софта, используемого другими инженерами: CLI, внутренние платформы, control plane, автоматизация, CI-валидация, инструменты для разработчиков или self-service воркфлоу
•Знание Kubernetes и облачных/инфраструктурных платформ, включая изоляцию runtime, деплой, observability и операционное владение
•Умение превращать неоднозначные архитектурные указания в практические инкременты, делать трейд-оффы явными и доставлять полезные production-системы, не ожидая полной уверенности
•Чёткая письменная и устная коммуникация на английском языке
Будет плюсом
•DataHub или другие системы каталога данных, lineage или governance
•Открытые табличные форматы, такие как Apache Iceberg, object-store-based data lakes, S3, BigQuery, ClickHouse или аналитические системы хранения
•GitHub Actions, policy-as-code, infrastructure-as-code, контроллеры, операторы или reconciliation-based системы
•Контракты данных, реестры схем, Protobuf, Avro, JSON Schema, проверка совместимости, метаданные на уровне полей или contract testing
•Опыт поддержки аналитики, AI/ML, feature-store-подобных паттернов доступа или cross-domain интеграций между продуктами
•Опыт с JVM-языками и Python, TypeScript, Go или Ruby
Условия
Условий в вакансии нет
