О компании
NIQ — компания, занимающаяся анализом потребительского поведения и выявлением возможностей роста. Платформы компании объединяют розничные данные и продвинутую аналитику для получения потребительских инсайтов. NIQ работает более чем в 100 странах и охватывает свыше 90% населения мира.
Задачи
•Проектирование и создание распределённых архитектур для скрапинга, масштабируемых на тысячи доменов
•Реверс-инжиниринг API и мобильных приложений с использованием таких инструментов, как Frida, mitmproxy, Charles Proxy, Burp
•Обнаружение антибот-механизмов, включая JavaScript-проверки и детекцию поведения браузера, разработка краулеров, адаптирующихся для имитации человеческого поведения
•Техническое лидерство в области скрапинга: выявление нестандартных случаев, прототипирование новых подходов, обмен знаниями с командой
•Настройка обнаружения аномалий и мониторинга для раннего выявления блокировок или сбоев
Требования
•5+ лет опыта работы с Python и крупномасштабными проектами по скрапингу
•Глубокое понимание антибот-технологий и способов их обхода, включая fingerprinting, WAF и JavaScript-челленджи
•Опыт работы со Scrapy, Requests, httpx, Selenium, Playwright или собственными драйверами headless-браузеров
•Навыки работы с резидентными, дата-центровыми и ротирующимися прокси, управление сессиями, внедрение cookie, настройка TLS
•Сильные навыки отладки на уровне браузера, HTTP-трафика и взаимодействия с устройствами
•Способность самостоятельно решать проблемы и интерес к решению нерешённых задач
•Хорошее знание MongoDB, InfluxDB и Redis, включая их эксплуатацию и оптимизацию
Будет плюсом
•Знакомство с Parquet или Avro
•Обработка потоков данных в реальном времени
•Симуляция реальных устройств для мобильного скрапинга
•Распределённые очереди задач, такие как Celery или Kafka
•Опыт скрапинга высокозащищённых платформ или mobile-first сред
•Знание Linux или облачных сред (AWS, GCP)
•Базовые знания Kubernetes, Cloud Run и Cloud Functions для развёртывания и оркестрации задач скрапинга
Условия
•Гибкий график работы
•Гибкая рабочая среда
•Оплачиваемое время на волонтёрство
•LinkedIn Learning
•Программа психологической поддержки сотрудников (EAP)
