Описание компании
Lineate — американская международная компания по разработке программного обеспечения с более чем двадцатилетним опытом. От Intelligent Document Processing (IDP) и Agentic RAG систем до масштабируемых облачных архитектур, мы превращаем сложные идеи в реальные, измеримые результаты. Мы создаем AI-решения на заказ для FinTech, HealthTech, AdTech и других индустрий, помогая бизнесу расти умнее, быстрее и эффективнее.
Задачи
•Строить и поддерживать надежные, масштабируемые ETL/ELT пайплайны и компоненты платформы данных
•Интегрировать данные из множества разнородных источников, включая базы данных, API, файлы и сторонние системы
•Очищать, нормализовать, трансформировать и маппировать неполные, непоследовательные данные, часто без надежных уникальных ключей
•Разрабатывать решения для сопоставления записей, дедупликации, сверки и entity resolution между разными источниками данных
•Проектировать модели данных и внедрять процессы контроля качества данных, валидации и мониторинга
•Исследовать несоответствия в данных, устранять неполадки в пайплайнах и постоянно улучшать надежность и производительность данных
Требования
•6+ лет практического опыта в Data Engineering
•Сильные навыки Python и SQL
•Солидный продуктивный опыт работы с ETL/ELT, интеграцией данных и моделированием данных
•Практический опыт очистки и маппинга неполных, непоследовательных или дублированных данных из нескольких источников
•Опыт сопоставления записей без надежного общего ID, с использованием составных ключей, rule-based или fuzzy matching, entity resolution или аналогичных подходов
•Продуктивный опыт с современными технологиями данных, такими как Airflow, dbt, Spark, Kafka, ClickHouse, Snowflake, Databricks или аналогичными
•Сильное понимание принципов качества данных и DWH/платформ данных
Условия
•Freedom to Develop — равные возможности для профессионального обучения и роста
•Четкий карьерный и профессиональный путь, сильная система управления производительностью
•Пакет социальных льгот
•Оборудование
•Занятия английским языком
•Абонемент в спортзал
•Все преимущества работы в международной IT-компании
•Гибкое время отпуска
•Веселые и инклюзивные офлайн и онлайн мероприятия
