Описание
Описания нет
Задачи
•Проверка точности, полноты и recall модели на различных наборах данных
•Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи
•Проведение A/B тестов разных версий моделей
•Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting)
•Тестирование на смещенных данных (Bias & Fairness): поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе)
•Проверка качества входных данных: их полноты, консистентности, корректности форматов
•Валидация данных, используемых для обучения и валидации модели
•Проверка корректности и уместности ответов, работы с контекстом
•Проверка релевантности выданных рекомендаций
•Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples)
•Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data)
•Разработка и поддержка тест-кейсов, чек-листов, тест-планов
•Активное использование техник тест-дизайна для покрытия функциональности
•Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами
•Умение декомпозировать сложную проблему на составляющие
•Анализ корневых причин (Root Cause Analysis)
Требования
•Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine)
•Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY
•Опыт работы с инструментами тестирования и БД (Postman, Swagger, Kafka, ELK, DevTools, PostgreSQL, MySQL, SQL Server)
•Знание форматов данных: JSON, XML
•Понимание типов API: REST (обязательно)
•Базовое понимание одного из языков программирования (Java или JavaScript/Python)
•Умение прочитать и понять чужой код
•Внимательность, аналитическое мышление, умение работать в команде
•Самостоятельное планирование
•Принятие решений
•Инициатива
•Технический уровень для работы с документацией
•Опыт работы от 3х лет
•Будет плюсом: знакомство с GraphQL
Условия
•Полный рабочий день, 5/2
•Удаленная работа
•До 160 000 рублей (в зависимости от уровня)
•Премии за успешное выполнение проектов
•Возможность профессионального роста и обучения
•Перспективы развития до Senior QA Engineer или автоматизатора
•Оплачиваемый отпуск и больничный
•Корпоративные мероприятия, тимбилдинги, печеньки
