О проекте
Компания IT People group ищет Python-разработчика для проекта в области LLM и GenAI. Проект связан с разработкой сервисов для инференса больших языковых моделей и интеграцией ML-компонентов в микросервисную архитектуру.
Обязанности
•Разработка сервисов на Python для инференса LLM (FastAPI + vLLM через OpenAI-compatible API)
•Интеграция ML-компонентов в микросервисную архитектуру (асинхронные HTTP-клиенты, WebSocket)
•Интеграция с внешними API (HR-системы, базы знаний)
•Работа с промптами: системные инструкции, few-shot, управление контекстом диалога
•Настройка параметров генерации и инференса LLM
•Работа с векторными базами данных (Qdrant): поиск, reranking, score-boosting
•Сборка и оптимизация Docker-образов для ML-сервисов
•Участие в код-ревью: проверка кода согласно гайдлайнам, выявление типовых ошибок
Требования
•Опыт коммерческой разработки на Python от 4 лет
•Высшее образование: IT, техническое, математическое (или эквивалентный практический опыт)
•Удаленная работа с 9:00 до 18:00 по Мск
•Уверенное знание Python: async/await, typing, ООП, структуры данных
•Опыт разработки REST API на FastAPI
•Продвинутый SQL: оконные функции, работа с PostgreSQL/asyncpg
•Практический опыт работы с LLM: инференс через OpenAI API или совместимые (vLLM, TGI)
•Понимание ограничений LLM: галлюцинации, контекстное окно, стохастичность, latency
•Навыки prompt engineering: системные промпты, управление контекстом, JSON-mode
•Базовый опыт контейнеризации: Docker, сборка образов, запуск контейнеров
•Базовое понимание CI/CD: запуск пайплайнов, чтение логов
•Понимание принципов работы с GPU: память, утилизация, параллелизм
•Умение работать с Git: ветки, pull requests, code review
•Опыт написания юнит-тестов
•Базовое понимание архитектурных паттернов для агентов: ReAct, Plan-and-Execute, Agent-as-a-Judge и знакомство с фреймворками LangChain, LangGraph, LlamaIndex, AutoGen
•ML-алгоритмы и теория (базовое понимание)
•Классический ML: линейные модели, деревья решений, ансамбли (Random Forest, градиентный бустинг)
•Метрики качества: precision, recall, F1, ROC-AUC, accuracy для задач классификации, метрики для регрессии
•Валидация моделей: train/test split, кросс-валидация, bootstrapping
•Предобработка данных: нормализация, стандартизация, кодирование категориальных признаков
•Feature engineering: отбор признаков, работа с пропусками, выбросами
•Библиотеки: scikit-learn, pandas, numpy, matplotlib/seaborn для визуализации
Будет плюсом
•Опыт развертывания LLM через vLLM (настройка параметров, оптимизация)
•Знакомство с Kubernetes: deployment, services, probes, resources
•Опыт работы с векторными базами (Qdrant, Pinecone, Weaviate)
•RAG-системы: поиск чанков, reranking, контекстуализация запросов
•Оптимизация инференса: batching, caching, quantization, streaming
Дополнительная информация
Ставка: рассмотрим вашу. Срок привлечения: до конца года (возможно продление). Загрузка: фултайм, оформление ИП/СМЗ. Локация: РФ/РБ. Удаленная работа с 9:00 до 18:00 по Мск.
Стек технологий
Python, FastAPI, PostgreSQL, asyncpg, OpenAI, vLLM, TGI, Docker, Git, LangChain, LangGraph, LlamaIndex, AutoGen, scikit-learn, pandas, numpy, matplotlib, seaborn, Kubernetes, Qdrant, Pinecone, Weaviate
