Локация
Удалённая работа, Москва
Зарплата
От 300000 RUB на руки в месяц
Компания
АБП развивает крупный проект и платформу больших данных с использованием Lakehouse- и аналитического стека.
Что делать
•Разрабатывать и поддерживать интеграционные потоки и потоки сборки витрин данных на базе Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink.
•Создавать нетиповые интеграции, включая интеграции с SAP-системами.
•Разрабатывать переиспользуемые шаблоны и системные инструменты обработки данных.
•Проектировать сложные решения и системный дизайн уровня C2/DD.
•Оперативно реагировать на проблемы в зоне ответственности и выполнять типовые задачи в установленные сроки.
•Поддерживать документацию интеграционных решений платформы больших данных и предоставлять отчётность руководителю.
Требования
•Более 6 лет опыта разработки в области данных.
•Понимание Lakehouse, Big Data и различий между обработкой больших и обычных объёмов данных.
•Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности.
•Опыт разработки на Java и Python, работы с реляционными базами данных и Git.
•Опыт работы с DBT, Cosmos, NiFi, Spark, Hadoop, Trino, Iceberg, Parquet, Avro и S3-хранилищами.
•Опыт разработки near-realtime потоков, нетиповых интеграций и оптимизации высоконагруженных потоков с использованием Grafana, VictoriaMetrics или Zabbix.
Культура и преимущества
•Удалённый формат работы.
•Работа над крупным проектом в области платформ больших данных.
•Использование современного стека Greenplum, Trino, ClickHouse, Python, Spark, SQL, S3 и Hadoop.
