Описание
Команда платформы данных автоматизирует ETL-процессы, разрабатывает решения для аналитиков и внедряет инструменты работы с данными, чтобы помогать бизнесу реагировать на изменения, оптимизировать процессы и принимать стратегические решения.
Задачи
•Разрабатывать инструменты доставки данных
•Проектировать и реализовывать фабрики пайплайнов
•Обновлять данные и следить за их своевременным поступлением
•Строить систему качества данных
•Обучать аналитиков и специалистов по данным современным практикам работы с данными
•Настраивать и поддерживать системы мониторинга и оповещений
Требования
•Более 3 лет работать с Python
•Более 3 лет работать инженером данных, знать Apache Spark (PySpark), понимать принципы работы СУБД и уметь оптимизировать запросы
•Знать ClickHouse, PostgreSQL и Vertica
•Понимать принципы работы хранилищ данных
•Уметь писать компоненты Airflow
•Поддерживать порядок в коде, Git и документации
•Тестировать решения с помощью Pytest
•Уметь быстро учиться, применять новые знания и самостоятельно находить ответы на сложные вопросы
•Иметь высшее техническое образование
Будет плюсом
•Умение работать с Kubernetes, Prometheus, Superset, Helm, FastApi и Flask
•Опыт общения с аналитиками и специалистами по данным
Условия
Условий в вакансии нет
