Описание
Lineate — международная компания-разработчик программного обеспечения, создающая AI-driven кастомные решения, облачную и дата-инфраструктуру, а также предоставляющая специализированных экспертов для team augmentation. Продукт компании — платформа real estate и mortgage технологий, которая сопровождает процесс покупки жилья от поиска недвижимости до закрытия сделки.
Задачи
•Строить и поддерживать надёжные, масштабируемые ETL/ELT пайплайны и компоненты дата-платформы
•Интегрировать данные из баз данных, API, файлов и сторонних систем
•Очищать, нормализовать, трансформировать и маппировать "грязные", неполные и противоречивые данные, часто без надёжных уникальных ключей
•Разрабатывать решения для сопоставления записей, дедупликации, сверки и entity resolution между различными источниками данных
•Проектировать модели данных и внедрять процессы контроля качества данных, валидации и мониторинга
•Исследовать расхождения в данных, устранять неполадки пайплайнов, непрерывно улучшать надёжность и производительность данных
Требования
•6+ лет практического опыта в Data Engineering
•Сильные навыки Python и SQL
•Продакшн-опыт с ETL/ELT, интеграцией данных и моделированием данных
•Практический опыт очистки и маппинга неполных, противоречивых или дублирующихся данных из нескольких источников
•Опыт сопоставления записей без надёжного общего идентификатора: с использованием составных ключей, rule-based или fuzzy matching, entity resolution или аналогичных подходов
•Продакшн-опыт с современными технологиями данных, такими как Airflow, dbt, Spark, Kafka, ClickHouse, Snowflake, Databricks или аналогичными
•Хорошее понимание принципов качества данных и DWH/data platform
Условия
•Свобода профессионального развития и роста
•Понятный карьерный и профессиональный путь и сильная система performance management
•Пакет социальных льгот
•Предоставление оборудования
•Уроки английского
•Абонемент в спортзал
•Гибкий отпуск
•Очные и цифровые мероприятия
