О компании
Глобальный разработчик продуктов и решений на основе разговорного искусственного интеллекта, машинного обучения и компьютерного зрения. Технологический эксперт в области речевых технологий, генеративного искусственного интеллекта, лицевой и голосовой биометрии. В России решения ЦРТ работают в крупнейших банках, телеком-компаниях, ТЭК, госсекторе, АПК «Безопасный город». Технологии распознавания речи, голосовой биометрии и выявления дипфейков, разработанные в ЦРТ, занимают лидирующие позиции на российском рынке.
Мы разрабатываем агентную систему и инструменты для объективной оценки её качества. Ищем middle-инженера на стыке ML и Python, который понимает принципы работы агентных систем и имеет инженерную базу для их развития.
Обязанности
•Проектировать evals для LLM-агентов, tool calling, поиска и итоговых ответов.
•Определять единицу оценки: ответ, вызов инструмента, trace/trajectory или итоговый артефакт.
•Создавать и поддерживать тестовые датасеты, разметку и ground truth.
•Разрабатывать детерминированные метрики и LLM-as-a-Judge evaluators.
•Калибровать автоматические оценки на человеческой разметке.
•Запускать и анализировать эксперименты, находить регрессии и недостатки покрытия.
•Работать с traces и наблюдаемостью в Langfuse.
•Совместно с командой определять quality gates для изменений агентов, моделей и промптов.
•Развивать агентов и агентную платформу: инструменты, навыки, интеграции.
•Развивать программную инфраструктуру на Python и интегрировать её с рабочей агентной системой, работать с существующими API и внешними сервисами.
•Разбираться в полном пути запроса через несколько сервисов и диагностировать проблемы по логам и traces.
•Проектировать явные контракты данных и устойчивую обработку ошибок.
•Писать unit- и интеграционные тесты, участвовать в code review.
•Работать с CI/CD и контейнеризированным окружением.
•Использовать coding agents для реализации задач и отвечать за качество итогового решения.
Требования
•Production-Python: типизированный код, явные модели данных (dataclasses, Pydantic), понятная декомпозиция модулей.
•Практический опыт unit- и интеграционного тестирования, включая проверку ошибок и граничных случаев.
•Понимание
async/await, HTTP API и корректной обработки сетевых ошибок.•Опыт работы в сервисной или event-driven архитектуре.
•Умение ориентироваться в незнакомой кодовой базе и находить причину проблемы по коду, логам и трассам.
•Git и командная разработка через code review.
•Понимание принципов работы LLM и агентов, использующих инструменты.
•Умение превратить продуктовое требование в проверяемую гипотезу и дизайн эксперимента.
•Практика классификационных метрик и базовой статистики: precision/recall, срезы, уверенность в выводе.
•Понимание различий между детерминированными проверками и LLM-as-a-Judge.
•Умение задавать уточняющие вопросы, фиксировать критерии приёмки и объяснять результат разработчикам и владельцам продукта.
Будет преимуществом
•Опыт с Langfuse, Phoenix, LangSmith, Opik или другой платформой наблюдаемости и оценки LLM-систем.
•Опыт с RAG, поисковыми системами или агентными фреймворками.
•Опыт работы с FastAPI, Pydantic и асинхронным Python.
•Знание Docker, CI/CD, S3-совместимых хранилищ, NATS или других event-driven систем.
•Опыт разработки eval- или regression-pipelines.
•Опыт эксплуатации распределённых сервисов.
•Опыт разработки агентных инструментов и навыков, доработки вычислительного окружения (harness) агентов.
•Опыт организации человеческой разметки и анализа согласованности экспертов.
•Опыт использования coding agents: постановка задач, проверка результата и доработка сгенерированного кода.
Условия
•Работа на переднем крае технологий совместно с научной командой.
•Возможность влиять на архитектуру и развитие системы.
•Оформление по ТК, "белая" заработная плата.
•ДМС с 1 недели работы.
•Работа в аккредитованной IT-компании с полагающимися льготами.
•Благотворительные и эко-активности.
•Компенсация обучения.
•Все необходимое для работы, комфортный офис и корпоративная техника.
