Описание
Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал. Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas где объемы данных позволяют.
Задачи
•Разработка пайплайнов обработки данных
•Формирование витрин с метриками
•Постановка на регламент алгоритмов расчета метрик функций беспилотного вождения
Требования
•Разработка на языке Python
•Хорошее знание SQL (на уровне джойнов и оконных функций)
•Был опыт обработки данных с использованием Python (Pandas/Polars)
•Знакомство со Spark и Airflow
Будет плюсом:
•Опыт работы с Clickhouse
•Опыт работы с Airflow/Luidgi/Dagster
Условия
Условий в вакансии нет
