Локация
Москва, Можайское шоссе; работа на месте работодателя, офис
Зарплата
180 000–230 000 ₽ на руки в месяц
Компания
HeadHunter ищет разработчика для создания и поддержки системы сбора данных из открытых источников.
Что делать
•Разрабатывать сборщики на Python, получать данные через API и HTTP-запросы, извлекать информацию из HTML и использовать браузерную автоматизацию.
•Собирать сведения о профилях, публикациях и активности, загружать фотографии и другие материалы.
•Проверять и нормализовать данные, обрабатывать пропуски и предотвращать дублирование записей.
•Реализовывать запись и обновление данных в PostgreSQL, связывать записи с файлами в объектном хранилище.
•Настраивать регулярные запуски, обработку ошибок и повторные попытки, сохранять источники и время получения данных.
•Поддерживать сборщики при изменении источников, писать тесты и добавлять логи для диагностики.
Требования
•Практический опыт разработки на Python и создания сборщиков или интеграций с внешними API.
•Понимание HTTP, JSON, HTML, пагинации, таймаутов и ограничений частоты запросов.
•Опыт работы с requests, HTTPX или aiohttp, а также BeautifulSoup, lxml или Scrapy.
•Уверенный базовый SQL, желательно знание PostgreSQL; понимание проверки результатов сбора и предотвращения повторных записей.
•Опыт работы с Git, отладки и написания тестов, например на pytest.
•Знание Playwright или Selenium, асинхронного Python и asyncio.
Хорошо, если есть
•SQLAlchemy и Alembic.
•Docker, Linux и опыт запуска задач по расписанию.
•Celery, RQ или другие инструменты фоновой обработки.
•S3-совместимые хранилища.
•Опыт длительного сопровождения нескольких источников.
Культура и преимущества
•Полная занятость в офисе.
•Работа с более чем 15 источниками и объёмом от 1 млн профилей.
•Решения обсуждаются и проходят ревью.
