Локация
Москва. Формат работы: офисный или комбинированный.
Компания
VK развивает решения на базе LLM-агентов для поддержки пользователей и внутренних бизнес-процессов.
Что делать
•Разрабатывать и развивать LLM-агентов: сценарии, инструменты, оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логику.
•Проектировать и внедрять RAG-системы с индексацией, эмбеддингами, ретриверами, ранжированием и чанкингом.
•Интегрировать агентные решения в промышленные сервисы через API, Kafka, Redis и другие компоненты инфраструктуры.
•Настраивать наблюдаемость и контроль качества с помощью логирования, трейсинга, Langfuse, дашбордов и алертов.
•Проводить офлайн- и онлайн-оценку, строить датасеты, выполнять A/B- и квазиэксперименты.
•Развивать пайплайны данных и экспериментов, писать тестируемый код, участвовать в ревью и архитектурных решениях.
Требования
•Уверенное владение Python: проектирование модулей, типизация, тестирование и работа с API и сервисами.
•Практический опыт работы с LLM и agentic-подходами: промптинг, tool calling, цепочки, графы, управление контекстом и обработка ограничений моделей.
•Опыт построения или внедрения RAG, включая retrieval, embeddings, индексацию, ранжирование и оценку качества поиска.
•Понимание метрик precision, recall, F1 и macro-F1, а также опыт построения датасетов и интерпретации результатов.
•Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг и Git.
•Понимание очередей, кэшей и хранилищ; опыт работы с Kafka, Redis или аналогами.
Хорошо, если есть
•Опыт с LangGraph, LangChain и Langfuse.
•Опыт работы с YTsaurus или другими распределёнными системами хранения и обработки данных.
•Знание rerank, hybrid search, query rewriting и guardrails/safety.
•Опыт A/B-тестов, продуктовых метрик и причинно-следственного анализа.
•Опыт контейнеризации и деплоя с Docker, Kubernetes и CI/CD.
Культура и преимущества
•Полный рабочий день.
•Возможность работать в офисном или комбинированном формате.
•Работа над решениями полного цикла: от прототипирования и экспериментов до промышленных сервисов.
