Описание
Professional IT работает с 2009 года и успешно реализовала сотни проектов цифровой трансформации по всей стране. Мы предлагаем сложные программные решения и автоматизацию бизнеса для государственного, частного и промышленного секторов. Сейчас мы быстро расширяемся в сферах ИИ и бизнес-аналитики, опираясь на современные технологии и долгосрочное партнёрство.
В роли старшего инженера данных вы будете отвечать за проектирование, создание и оптимизацию ETL/ELT-конвейеров промышленного уровня, витрин данных и структур хранилищ данных для наших проектов в сфере ИИ и бизнес-аналитики. Основные технологии: PostgreSQL, dbt, Python.
Задачи
•Разработка и развитие ETL/ELT-процессов промышленного уровня
•Создание общих витрин данных для решений в сфере бизнес-аналитики и ИИ
•Проектирование таблиц фактов, измерений, ключей и уровня детализации
•Инкрементальная загрузка и обработка исторических данных
•Управление поздно поступающими данными и изменениями схем источников
•Разработка автоматизированных проверок качества и актуальности данных
•Сопоставление объёмов данных, ключей и показателей между исходными системами и аналитическим слоем
•Оптимизация запросов PostgreSQL, индексов и планов выполнения
•Документирование преобразований и процедур восстановления
Требования
•Уверенное знание SQL и PostgreSQL
•Практический опыт работы с dbt
•Знание Python для обработки данных и автоматизации
•Опыт работы с хранилищами данных и ETL/ELT
•Опыт создания инкрементальных и воспроизводимых конвейеров данных
•Знание Git и Linux
•Умение выявлять проблемы, связанные с дублированием строк в результате JOIN, агрегацией и качеством данных
Будет плюсом:
•MariaDB / MySQL
•Большие объёмы исторических данных
•Опыт работы с данными в сфере образования или государственного сектора
•Подготовка данных для бизнес-аналитики
•Проекты Text-to-SQL
•Международно признанные сертификаты в этой области
Условия
•Конкурентоспособная заработная плата с учётом вашего опыта и навыков, а также премии за результаты
•Возможность развивать знания и навыки, работая над крупнейшими стратегическими проектами страны в сфере ИИ и бизнес-аналитики, и участвовать в международных программах сертификации
•Перспективы карьерного роста и перехода на руководящие позиции в быстро растущей команде
•Гибкий график работы для комфортного и сбалансированного рабочего режима
•Обеспечение современными технологиями и оборудованием, профессиональная и поддерживающая команда
