Описание
Команда строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Она создаёт решения под ключ — от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией.
Задачи
•Разрабатывать и развивать LLM-агентов: сценарии, инструменты, оркестрацию, память, маршрутизацию, обработку ошибок и резервные сценарии
•Проектировать и внедрять RAG: индексацию, эмбеддинги, ретриверы, ранжирование, разбиение на фрагменты, оценку качества поиска и ответов
•Интегрировать агентные решения в промышленные сервисы, API и компоненты инфраструктуры, включая Kafka и Redis
•Настраивать наблюдаемость и контроль качества: журналирование, трассировку, Langfuse, панели мониторинга и оповещения
•Проводить офлайн- и онлайн-оценку качества, рассчитывать метрики, создавать наборы данных, проводить A/B- или квазиэксперименты и формулировать гипотезы улучшений
•Участвовать в улучшении конвейеров данных и экспериментов: готовить данные, проводить разметку и валидацию, обеспечивать хранение и воспроизводимость
•Писать поддерживаемый код, проводить ревью, писать тесты и документацию, настраивать CI/CD и участвовать в архитектурных решениях
Требования
•Уверенное владение Python: проектирование модулей, типизация, тестирование, работа с API и сервисами
•Практический опыт работы с LLM и агентными подходами: промптинг, вызов инструментов, цепочки и графы, управление контекстом, обработка галлюцинаций и ограничений моделей
•Понимание оценки качества: precision, recall, F1, macro-F1, создание наборов данных и интерпретация метрик
•Опыт создания или внедрения RAG: поиск, эмбеддинги, индексация, ранжирование, разбиение на фрагменты, оценка качества поиска
•Опыт разработки и эксплуатации сервисов, работы с REST/gRPC, асинхронностью, журналированием, мониторингом и Git
•Понимание очередей, кэшей и хранилищ, таких как Kafka и Redis, или аналогов; опыт интеграций
Будет плюсом: опыт с LangGraph, LangChain, Langfuse, YTsaurus и распределёнными системами хранения и обработки данных, конструкторами конвейеров и быстрым прототипированием, ранжированием, гибридным поиском, переформулированием запросов, защитными ограничениями, A/B-тестами, продуктовыми метриками, причинно-следственным анализом, Docker, K8s и CI/CD
Условия
•Гибкий график работы
•Бонусы и скидки от партнёров
•Офис в центре города
•ДМС