Описание
Lineate — международная софтверная компания, которая разрабатывает кастомные AI-решения, облачную и дата-инфраструктуру, а также предоставляет услуги по усилению команд (team augmentation). Продукт компании — платформа для рынка недвижимости и ипотеки, поддерживающая процесс покупки жилья от поиска объекта до закрытия сделки.
Задачи
•Строить и поддерживать надёжные, масштабируемые ETL/ELT пайплайны и компоненты платформы данных
•Интегрировать данные из баз данных, API, файлов и сторонних систем
•Очищать, нормализовать, трансформировать и маппить неполные, противоречивые данные, часто без надёжных уникальных ключей
•Разрабатывать решения для сопоставления записей, дедупликации, сверки (reconciliation) и entity resolution между разными источниками данных
•Проектировать модели данных и внедрять процессы контроля качества данных, валидации и мониторинга
•Исследовать расхождения в данных, устранять неполадки в пайплайнах и постоянно улучшать надёжность и производительность данных
Требования
•6+ лет практического опыта в Data Engineering
•Сильные навыки Python и SQL
•Продакшн-опыт с ETL/ELT, интеграцией данных и моделированием данных
•Практический опыт очистки и маппинга неполных, противоречивых или дублирующихся данных из нескольких источников
•Опыт сопоставления записей без надёжного общего ID — с использованием составных ключей, rule-based или fuzzy matching, entity resolution или похожих подходов
•Продакшн-опыт с современными технологиями данных, такими как Airflow, dbt, Spark, Kafka, ClickHouse, Snowflake, Databricks или аналогичными
•Хорошее понимание принципов качества данных и DWH/data platform
Условия
•Локация: Тбилиси
•Социальный пакет
•Оборудование
•Уроки английского
•Абонемент в спортзал
•Гибкий отпуск
•Оффлайн и онлайн мероприятия
