Описание
Компания разрабатывает решения на базе LLM, уделяя основной фокус прототипированию, тестированию и управлению качеством AI-решений.
Задачи
•Прототипировать, тестировать и контролировать качество решений на базе LLM
•Настраивать поведение моделей без Fine-tuning
•Экспериментировать с CoT, Tree-of-Thoughts, Few-shot, Structured Outputs, Tool Calling и другими подходами
•Совместно с Product-командой проектировать диалоговые сценарии
•Тестировать и оценивать качество LLM-решений на всех этапах
•Собирать и регулярно обновлять Golden Sets
•Разрабатывать инструкции для разметчиков и участвовать в разметке данных
•Анализировать Logs, Traces и пользовательский Feedback по работе AI-ассистентов в Production
•Совместно с разработчиками интегрировать LLM в продукты
•Проводить тестирование и Regression Checks промптов
Требования
•1–3 года опыта решения реальных бизнес-задач с использованием LLM
•Хорошее знание Python
•Опыт работы с Jupyter, Pandas и Matplotlib
•Опыт работы с SQL и данными
•Практический опыт с OpenAI API и аналогами
•Навыки тестирования промптов и проведения Regression Checks
•Понимание современных подходов к Prompt Engineering
Условия
•Работа с современными LLM и AI-инструментами
•Участие в разработке Production AI-решений
