Задачи
•Реализовывать высоконагруженные конвейеры обработки данных для надежной и бесперебойной репликации данных из ИТ-систем
•Подготавливать данные в аналитических хранилищах DataLake, SandBox и FeatureStore для построения признаков моделей машинного обучения
•Разрабатывать и обновлять документацию по реализованному функционалу
•Отражать статусы выполнения задач в Jira
•Проверять качество кода инженеров данных
Требования
•Опыт работы в роли Data Engineer от 4 лет
•Отличное знание Python, структур данных, алгоритмов, ООП и функционального программирования
•Опыт написания модульных и интеграционных тестов, применения NumPy и Pandas
•Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных из внешних источников
•Умение разбираться в API поставщиков данных по доступной документации
•Отличное знание SQL, сложных запросов с аналитическими оконными функциями и инструментов профилирования для оптимизации производительности
•Опыт работы с Oracle, Postgres и Greenplum
•Опыт работы с Airflow и инструментами планирования и мониторинга пакетной обработки данных
•Опыт разработки высоконагруженных приложений обработки данных на PySpark
•Опыт работы с Apache Kafka, продюсерами, консьюмерами на Python и группами потребителей
•Опыт разработки потоковой обработки данных с Spark Structured Streaming и Flink
•Опыт работы с Flink
Условия
•График 5/2
