О компании
Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого AI/LLM инженера, который поможет нам выстроить в компании эффективную систему оценки качества GenAI фичей.
Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах — через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт — мы будем рады видеть вас в нашей команде.
Чем предстоит заниматься
•Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода
•Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений - от QA запросов к LLM до сложных агентов с отдельным окружением
•Разрабатывать внутренние бенчмарки по hr домену для оценки OSS LLM
•Проектировать метрики качества, разрабатывать валидационные пайплайны
•Настраивать observability для поддержания качества работы GenAI решений в проде
•Организовывать человеческую разметку и разрабатывать LLM-as-Judge
•Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI
•Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAI решений
Требования
•Уверенное владение Python, и опыт разработки production-ready ML/GenAI-сервисов
•Опыт построения и внедрения систем оценки качества ML / GenAI-решений: offline-метрики, regression testing, human evaluation, A/B или онлайн-валидация
•Опыт проектирования валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость, сравнение моделей)
•Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.)
•Понимание особенностей оценки LLM- и agent-based систем в сравнении с классической разработкой и классическим ML
•Опыт работы с LLM API и реализации LLM-based сервисов (диалоговые агенты, RAG, Agent workflows), понимание нюансов и трейдофов
•Готовность быть драйвером внедрения best practices внутри компании
•Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering)
•Опыт создания web-сервисов (FastAPI, asyncio), дизайна чистых и функциональных API и интеграции с бэкенд-сервисами
•Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG-решений и не только
Будет плюсом
•Знание Java
•Понимание современных архитектур и методов обучения языковых моделей
•Опыт обучения и инференса open-source LLM-моделей
Условия
•Возможность выбора места работы: удаленно или из офиса
•Гибкий график рабочего дня
•Оформление в соответствии с ТК РФ, «белая» заработная плата, выплачиваемая точно в срок
•Корпоративное ДМС с первого месяца работы
•Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях
Дополнительно
•Well-being-программа для поддержки ментального и физического здоровья, финансовых и юридических вопросов
•ДМС с первого месяца работы — со стоматологией, страхованием жизни и скидками на ДМС для семьи
•Развитие и обучение сотрудников: курсы, тренинги, вебинары, менторство, конференции
•Гибридный и удаленный формат работы
•Комфортные офисы в 10 городах России
•Аккредитованная IT-компания
