Обязанности
— Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных
— Обеспечивать обработку данных в режиме реального времени (за доли секунды)
— Управлять партиционированием, ключами, гарантиями доставки и эволюцией схем
— Диагностировать и устранять проблемы долгоживущих стриминговых джобов (hot keys, перекос партиций, рост состояния, checkpoints)
— Интегрировать источники данных через CDC (Debezium) и обеспечивать надёжную работу при изменениях схем
— Развивать отказоустойчивые решения с учётом таймаутов, ретраев, backpressure и circuit breakers
— Участвовать в развитии архитектуры data-платформы и предлагать технические решения для повышения надёжности и производительности
Требования
— Опыт работы с Kafka в production: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка
— Практический опыт CDC (Debezium): понимание WAL/binlog, change-событий, снапшота и стриминговой фазы
— Опыт работы со Schema Registry и управлением совместимостью схем (backward/forward)
— Уверенное знание SQL (агрегации, JOIN, поведение NULL)
— Опыт разработки на Java в production: многопоточность, CompletableFuture, конкурентные коллекции
— Понимание принципов распределённых систем и отказоустойчивости
— Самостоятельность, ответственность за полный цикл (от проектирования до эксплуатации) и умение чётко объяснять технические решения
Будет преимуществом
— Опыт с Apache Flink (event-time, watermarks, checkpoints/savepoints, RocksDB state backend)
— Опыт со Spark Streaming или другими стриминговыми движками
— Знание вероятностных структур данных (HyperLogLog и аналоги)
— Опыт работы с высоконагруженными системами (тысячи событий в секунду)
Условия
— Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру
— Гибкий формат работы: удалённо, гибридно или из офиса
— Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи
— ДМС со стоматологией после испытательного срока
— Компенсация спорта, английского языка и сессий с психологом
— Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды
— Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности
— Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы
