Задачи
•Разрабатывать шаблоны потоков данных на основе Flink DataStream
•Реализовывать архитектуру потоков данных
•Писать и дорабатывать приложения на Java для Big Data
Требования
•Глубоко знать Java Core: ООП, многопоточность, коллекции, исключения и generics
•Иметь опыт разработки микросервисов и REST API с Spring Boot, включая Spring Data, Security, Actuator и AOP
•Иметь опыт работы с Apache Flink для потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC
•Знать ETL/ELT, потоковые и пакетные процессы, Airflow и Temporal
•Понимать принципы проектирования фреймворков и библиотек для других разработчиков
•Знать принципы работы с большими данными
•Иметь опыт работы с PostgreSQL и ClickHouse
•Знать форматы данных Iceberg и Paimon
•Уметь работать с CI/CD и Docker
•Уметь писать модульные и интеграционные тесты, следить за качеством и поддерживаемостью кода
•Иметь опыт программирования на Python: скрипты, микросервисы и приложения
Будет плюсом
•Знание Spark, Dask и pandas на больших наборах данных
•Kubernetes
•Интерес к новым технологиям и методам разработки
•Широкий кругозор в разработке, включая агентный
•Практический опыт реализации проектов, особенно в области баз данных и автоматизации
Условия
•График 5/2
