О компании
Внутренняя AI-R&D лаборатория технологической компании занимается созданием и тестированием AI-агентов и ассистентов для превращения бизнес-гипотез в работающие продукты.
Задачи
•Выстраивать процессы разработки и тестирования GenAI-решений, внедрять подход Evaluation-Driven Development.
•Создавать инструменты для массового тестирования LLM, AI-агентов и ассистентов.
•Разрабатывать бенчмарки и метрики для оценки качества AI-моделей и готовых решений.
•Проектировать сценарии тестирования, валидационные пайплайны и механизмы проверки ответов моделей.
•Анализировать поведение LLM, выявлять ошибки и нестабильные результаты, улучшать качество AI-решений.
Что важно
•Уверенно владеть Replit и иметь практический опыт создания AI-решений.
•Иметь опыт работы с LLM API, AI-агентами, ассистентами или другими GenAI-продуктами.
•Понимать принципы оценки качества LLM и уметь системно тестировать результаты работы моделей.
•Навыки написания системных промптов, работы с контекстом и структурированными ответами.
•Уметь самостоятельно находить технические решения, проверять гипотезы и доводить задачи до результата.
•Будет плюсом: опыт разработки на Python, создания API и интеграции AI-сервисов.
•Будет плюсом: знание LangChain, LangGraph, RAG и подходов к созданию AI-агентов.
Стек или инструменты
Replit · LLM API · Python · LangChain · LangGraph · RAG
Условия
Уровень дохода обсуждается на первом звонке.
Как проходит отбор
Отклик → звонок рекрутера Zenyxe → встреча с командой → решение.
