Описание
Команда развивает сервис для поставки данных, который связывает потоки данных на базе YDB Topics с системой хранения и обработки больших данных YTsaurus. Сервис ежедневно обрабатывает десятки тысяч поставок, помогая продуктам Яндекса решать задачи пакетной обработки и архивного хранения данных.
Задачи
•Оптимизировать производительность кода и инфраструктуры: профилировать, снижать потребление CPU и памяти, ускорять критичные операции
•Пересматривать компоненты, архитектура которых стала узким местом
•Поддерживать баланс между скоростью переноса данных, их согласованностью и нагрузкой на источники и приёмники
•Усиливать механизмы наблюдаемости
•Автоматизировать регламентные операции и снижать количество ручных действий при инцидентах
•Повышать покрытие тестами и проводить учения по отказоустойчивости
•Упрощать работу с сервисом: улучшать сообщения об ошибках, предсказуемость поведения API, документацию, шаблоны и инструменты для новых пользователей
•Проработать и реализовать механизм поставки exactly-once для хранилищ, где такая возможность не поддерживается из коробки
•Развивать Data Transfer в полноценный ETL-инструмент с потоковой обработкой данных во время переноса
Требования
•Опыт разработки и эксплуатации сервисов в продакшене от 3 лет
•Умение и желание писать код на C++ и Python
•Интерес к работе с данными
Условия
•Гибкий график и распределённая команда
•Компенсация от 100М токенов для экспериментов и оптимизации рутинных задач
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•По ДМС доступны плановая и неотложная помощь за рубежом, страхование от несчастных случаев, лечение критических заболеваний, консультации врачей и психологов, чекапы и вакцинация, стоматология и коррекция зрения
•30 дней больничного в году оплачиваются с сохранением полной зарплаты
•Ведение беременности и роды оплачиваются для сотрудниц и жён сотрудников со стажем более двух лет
•Для детей и супругов доступна страховка по системе 80/20: компания оплачивает 80% стоимости ДМС, сотрудник — 20%
