Описание
Мы технологическая компания, специализирующаяся на искусственном интеллекте, генеративном AI, аналитике, Data Governance, облачных и событийно-ориентированных архитектурах, но прежде всего мы — команда со знаниями, здравым смыслом и большим желанием делать всё хорошо. Мы ищем Data Engineer в IT-команду крупного мультинационального клиента.
Задачи
•Извлекать и централизовать данные о производительности Tableau Server в Databricks: обрабатывать логи (VizQL, backgrounder, gateway), внутренний репозиторий Tableau и Resource Monitoring Tool.
•Собирать метрики виртуальных машин Azure (CPU, память, диск) из Azure Monitor или Log Analytics.
•Использовать метаданные Tableau, чтобы определить, какие таблицы и источники данных читает каждый workbook, для связи проблем производительности с их источником.
•Обрабатывать и моделировать большие объёмы логов с помощью Spark в оптимизированных Delta-таблицах.
•Анализировать узкие места: медленные вьюхи, затратные запросы, перекрывающиеся обновления экстрактов, пиковые нагрузки пользователей и размер машин.
•Предлагать улучшения и работать с командами над их внедрением: дизайн workbook и источников данных, планирование обновлений, конфигурация сервера и оптимизация исходных таблиц.
•Подготавливать таблицы для агента Genie (описания, инструкции и примеры запросов) и проверять качество его ответов.
Требования
•Не менее 3 лет опыта в роли Data Engineer или аналогичной.
•Опыт работы со Spark (PySpark или Spark SQL) на очень больших таблицах, включая оптимизацию производительности: партиционирование, размер файлов, планы выполнения, джойны и кэширование.
•Опыт работы с Databricks и Delta Lake.
•Продвинутый SQL.
•Опыт работы с PostgreSQL, включая запросы и анализ системных или метаданных баз данных (например, внутренний репозиторий Tableau Server).
•Знание Tableau Server или Tableau Cloud с технической точки зрения или с точки зрения администрирования: логи, репозиторий, административные views или инструменты мониторинга.
•Опыт анализа проблем производительности в данных или BI-платформах.
•Самостоятельность и инициативность для исследования проблем без заданного решения.
•Хороший рабочий уровень английского языка.
Будет плюсом
•Опыт работы с Azure Monitor, Log Analytics или метриками виртуальных машин Azure.
•Знание Tableau Metadata API или REST API.
•Опыт оптимизации workbook и экстрактов Tableau (performance recording, Hyper, live connections против extracts).
•Опыт работы с инструментами анализа логов (Logshark, Splunk, ELK или аналогичными).
•Опыт работы с Unity Catalog или Databricks Genie.
Условия
•Работа в компании, ориентированной на технологии и на людей; мы ставим сотрудника в центр всего, что делаем.
•Горизонтальная культура, без эго, в среде, где ценятся как идеи, так и люди.
•Постоянный контракт и стартовая зарплата от 38 000 до 44 000 евро брутто в год, корректируется в зависимости от опыта (карьерный план включает ежегодные пересмотры).
•Специализированный план обучения, участие в владении (ownership) и льготы Mática: бесплатный Wetaca в офисе два дня в неделю, гибкий график с возможностью работать откуда угодно, медицинское страхование, гибкая компенсация с Cobee, а также помимо обычного отпуска — дополнительная неделя на Рождество и три дополнительных дня на Пасху.
•Welcome Kit с ноутбуком (можно выбрать из нескольких моделей Mac или Windows), мобильным телефоном, персонализированной бутылкой, Bluetooth-наушниками и сладостями.
•В офисе в центре Барселоны или Мадрида — фрукты, кофе и напитки за счёт Mática.
•Офисы дружелюбны к животным.
