Описание
Команда пакетной загрузки данных отвечает за надёжную доставку данных в корпоративное хранилище и развивает экосистему сервисов, обеспечивающих этот процесс.
Задачи
•Развивать и с нуля писать инструменты для пакетной загрузки данных, обеспечивая их отказоустойчивость и масштабируемость
•Оптимизировать и мониторить ETL-пайплайны, повышая производительность и снижая стоимость вычислений
•Участвовать в миграции процессов поставки данных с Vertica на Trino
•Настраивать мониторинг, создавать метрики качества данных и визуализировать их в Superset
•Проектировать и разрабатывать пайплайн миграции данных из Vertica в Trino
•Проводить аудит текущих поставок данных, выявлять узкие места и внедрять автоматические проверки качества данных
Требования
•Знать SQL, уметь писать сложные запросы, понимать планы выполнения и оптимизацию
•Понимать принципы работы реляционных и распределённых баз данных
•Уверенно владеть Python и иметь опыт работы с библиотеками для обработки данных
•Иметь практический опыт оркестрации пайплайнов с помощью Airflow или аналогичных инструментов ETL/ELT
•Иметь опыт работы с PySpark и экосистемой Hadoop
Будет плюсом
•Опыт работы с MPP-базами Vertica и Trino
•Разработка на Go
•Понимание принципов CI/CD
•Настройка дашбордов в Apache Superset
Условия
Условий в вакансии нет
