Описание
Проект связан с разработкой сервисов для инференса больших языковых моделей и интеграцией ML-компонентов в микросервисную архитектуру.
Задачи
•Разрабатывать сервисы на Python для инференса LLM
•Интегрировать ML-компоненты в микросервисную архитектуру
•Интегрировать внешние API HR-систем и баз знаний
•Работать с промптами, системными инструкциями, few-shot и контекстом диалога
•Настраивать параметры генерации и инференса LLM
•Работать с векторными базами данных: выполнять поиск, reranking и score-boosting
•Собирать и оптимизировать Docker-образы для ML-сервисов
•Участвовать в код-ревью, проверять код по гайдлайнам и выявлять типовые ошибки
Требования
•Опыт коммерческой разработки на Python от 4 лет
•Высшее образование в области IT, технических или математических наук либо эквивалентный практический опыт
•Уверенное знание Python: async/await, typing, ООП, структуры данных
•Опыт разработки REST API на FastAPI
•Продвинутый SQL, оконные функции, PostgreSQL и asyncpg
•Практический опыт инференса LLM через OpenAI API или совместимые решения: vLLM, TGI
•Понимание ограничений LLM: галлюцинаций, контекстного окна, стохастичности и задержек
•Навыки разработки промптов: системные промпты, управление контекстом, JSON-mode
•Базовый опыт контейнеризации с Docker
•Базовое понимание CI/CD: запуск конвейеров, чтение логов
•Понимание работы с GPU: память, утилизация, параллелизм
•Умение работать с Git: ветки, pull requests, code review
•Опыт написания юнит-тестов
•Базовое понимание архитектурных паттернов для агентов: ReAct, Plan-and-Execute, Agent-as-a-Judge; знакомство с LangChain, LangGraph, LlamaIndex, AutoGen
•Базовое понимание алгоритмов и теории машинного обучения
•Знание классического машинного обучения: линейные модели, деревья решений, ансамбли, Random Forest, градиентный бустинг
•Знание метрик качества для классификации и регрессии
•Знание методов валидации моделей: train/test split, кросс-валидация, bootstrapping
•Знание методов предобработки данных: нормализация, стандартизация, кодирование категориальных признаков
•Знание методов создания признаков: отбор признаков, работа с пропусками и выбросами
•Знание scikit-learn, pandas, numpy, matplotlib или seaborn для визуализации
Будет плюсом: опыт развёртывания LLM через vLLM, знакомство с Kubernetes, опыт работы с векторными базами Qdrant, Pinecone или Weaviate, опыт создания RAG-систем, оптимизация инференса
Условия
•Ставка обсуждается
•Срок привлечения — до конца года, возможно продление
•Оформление как ИП или самозанятый
•Удалённая работа с 9:00 до 18:00 по московскому времени
