Описание
Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем LLM/Prompt-инженера, который поможет нам создавать, тестировать и внедрять GenAI-решения. Если вам интересно развивать продукты на базе LLM — через промпты, дизайн llm-пайплайнов и системный подход к оценке качества, если вы готовы не только создавать прототипы, но и улучшать их в продакшене на основе обратной связи и метрик — мы будем рады видеть вас в нашей команде.
Задачи
•Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM
•Настраивать поведение моделей — экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling и т.д.), контекстом, параметрами моделей и архитектурой llm-пайплайнов (один промпт, цепочка промптов, агенты, RAG и пр.)
•Тестировать и оценивать качество работы llm-решений на всех этапах — собирать и актуализировать golden-сеты, валидационные выборки, настраивать llm-as-a-judge, развивать подходы автоматической оценки работы llm-фичей, создавать метрики и бенчмарки
•Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов
Требования
•Практический опыт создания решений на базе LLM (prompt engineering, RAG, function calling, structured outputs, reasoning, agents)
•Понимание теории ML, глубокого обучения, современных подходов к NLP
•Сильный Python, опыт работы с аналитическими инструментами и ML-библиотеками
•Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику
•Живой интерес к сфере GenAI, опыт работы с популярными вендорными и open-source моделями (Qwen, Llama, DeepSeek, GPT-OSS)
•Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги)
•Понимание методов оценки качества LLM (бенчмарки, human eval, LLM-as-a-Judge) и метрик для различных NLP-задач
•Продуктовое мышление — смотреть на задачи через призму "помочь конечному пользователю", участвовать в брейнштормах и приносить новые идеи
Будет плюсом:
•Практический опыт файнтюнинга различных LLM под продуктовые задачи (SFT, PEFT, RLHF, LoRA, PPO, DPO, GRPO)
•Опыт внедрения LLM решений в продакшн
Условия
•Возможность выбора места работы: удаленно или из офиса
•Гибкий график рабочего дня
•Оформление в соответствии с ТК РФ
•Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно)
•Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях
