О проекте
Сервис для анализа больших данных для клиентов банка (средний и крупный бизнес). Помогает развивать бизнес, анализировать конкурентов, управлять рисками и оценивать аудиторию.
Обязанности
•Валидация процессов загрузки данных
•Проверка корректности скачивания данных из внешних источников (БКИ, ЦБ, ФНС и др.)
•Контроль раскладки данных по целевым таблицам в S3/Iceberg
•Подтверждение обработки 100% входящего объёма данных
•Верификация атрибутного состава (например, отсутствие даты рождения в поле "ФИО")
•Тестирование механизмов обновления: отсутствие дубликатов при повторной загрузке
•Блокировка записей с аномалиями (ошибки источника, некорректные форматы)
•Анализ документации (ТЗ, маппинги) для проектирования тест-кейсов
•Профилирование данных: выявление шаблонов, аномалий и граничных значений
•Документирование расхождений между источниками и хранилищем
•Мониторинг задач в Airflow на предмет сбоев
•Составление отчётов о дефектах и качестве данных
Требования
•Практическое знание SQL: продвинутый уровень: сложные JOIN; подзапросы; агрегатные функции, написание проверочных запросов, анализ трансформаций, выявление расхождений
•Понимание архитектуры Lakehouse (S3, Iceberg) и слоёв хранения (RAW/ODS/DDS)
•Опыт работы с БД и хранилищами: Oracle; Greenplum; PostgreSQL; S3, Airflow (мониторинг задач), Spark (понимание логики обработки)
•Опыт тестирования хранилищ данных
Будет преимуществом
•Работа с форматами данных: XML, JSON, XSD/JSON-схемы
•Опыт интеграции внешних источников (БКИ, ФНС, ЦБ, API-партнёров)
•Понимание REST/SOAP API и протоколов передачи
Условия
•Только РФ
•Удаленный формат работы
•Полная занятость
•Зарплата от 250 тыс. до 400 тыс. на руки
•Оформление по ТК РФ, полностью белая зарплата, оплачиваемые отпускные и больничные
•Индексация заработной платы
•Расширенная программа ДМС
•Скидки на фитнес, кино и уроки английского
•Техника по требованиям проекта
