Описание
Вы присоединитесь к команде Data & AI Foundation в департаменте AI & Data компании Tamedia. Это команда дата-инженеров и технических экспертов, которые превращают сырые данные в надёжные, применимые инсайты, влияющие на редакционные, продуктовые и маркетинговые решения в рамках портфеля брендов Tamedia. Как Data Engineer, вы будете поддерживать команду, в первую очередь занимаясь поддержкой и расширением AWS data lakehouse инфраструктуры, построением надёжных пайплайнов и предоставлением чистых аналитических моделей данных.
Задачи
•Проектировать, строить и поддерживать надёжные ETL/ELT пайплайны для централизованного data lakehouse с использованием DBT и Argo Workflow, обеспечивая надёжность, тестируемость и документированность данных
•Поддерживать и оптимизировать AWS data lakehouse инфраструктуру (S3, Athena, Glue), обеспечивая высокое качество данных и соответствие современным операционным стандартам
•Разрабатывать и оптимизировать аналитические модели данных внутри lakehouse, которые служат основой для дашбордов и аналитических кейсов по всей компании
•Обеспечивать качество, целостность и производительность данных на платформе data lakehouse
•Тесно сотрудничать с аналитиками данных и дата-сайентистами, чтобы понимать их потребности и переводить их в надёжные структуры данных и модели пайплайнов
•Критически оценивать входящие требования к данным, оспаривать предположения, выявлять значимые метрики и помогать стейкхолдерам определять, что им нужно измерять
Требования
•2+ года опыта в дата-инженерии или аналогичной роли, связанной с разработкой данных
•Серьёзный практический опыт работы с DBT (модели, тесты, документация, инкрементальные стратегии)
•Опыт работы с AWS S3 и более широкой экосистемой AWS data lakehouse (Athena, Glue или аналогичные)
•Владение Python для обработки данных и разработки пайплайнов
•Хорошее владение SQL, включая сложные трансформации и оптимизацию запросов
•Хорошее аналитическое мышление, умение подвергать требования сомнению, понимать бизнес-контекст и переводить бизнес-требования в технические решения
•Сильная интуиция в отношении данных: способность самостоятельно оценивать модели данных/метрики и проактивно выявлять проблемы
•Свободное владение английским языком
Будет плюсом
•Опыт работы с инструментами оркестрации воркфлоу (например, Argo Workflow, Airflow, Matillion)
•Знакомство с фреймворками и практиками обеспечения качества данных
•Опыт работы в сфере медиа, издательского дела или цифровых платформ
•Высшее образование в релевантной области (компьютерные науки, статистика, инженерия или аналогичная)
Условия
Условий в вакансии нет
