Описание
Технологический стартап, создающий AI-платформу для автономного управления и оптимизации data lakehouse. Продукт автоматизирует обслуживание данных, улучшает производительность запросов и снижает затраты на инфраструктуру в крупномасштабных средах данных с использованием Apache Iceberg. Команда фокусируется на высокопроизводительных системах данных, распределённых вычислениях, оптимизации на Rust и интеграции AI, предлагая возможность работать над сложными задачами инфраструктуры данных в продуктовой компании на раннем этапе развития. Мы ищем Data Infrastructure Engineer для создания и поддержки высокопроизводительной инфраструктуры data lakehouse.
Задачи
•Проектировать и внедрять сервисы, которые превращают сигналы о состоянии таблиц в безопасные и корректные операции обслуживания
•Обеспечивать проверяемую корректность каждого коммита в таблицу клиента, включая случаи конкурентной записи, повторов и частичных сбоев
•Работать над production-grade compaction engine и системами вокруг него
•Поддерживать QueryFlux: разбор issues, ревью pull request'ов, разработка новых коннекторов движков, выпуск релизов
•Запускать то, что разработано, в production, включая дежурства (on-call) и отладку в реальных средах клиентов
Требования
•5+ лет опыта разработки программного обеспечения на Java
•Сильный опыт разработки на Rust
•Опыт работы с TypeScript
•Продакшн-опыт работы с инфраструктурой данных и поддержкой production-систем
•Рабочее знание Apache Iceberg и Parquet
•Серьёзный опыт работы с PostgreSQL
•Опыт работы с Kubernetes
•Понимание операций обслуживания данных и целостности данных
•Способность работать самостоятельно и брать на себя ответственность за технические решения
•Сильные коммуникативные навыки и навыки сотрудничества, включая код-ревью и open-source контрибуции
Будет плюсом
•Опыт работы с Apache Spark или DataFusion
•Опыт работы с движками запросов, такими как Trino
•Опыт работы с SQL routing, query proxying или мультидвижковыми системами запросов
Условия
•People-first менеджмент с минимальной бюрократией
•Дружелюбная корпоративная культура, подтверждённая сотрудниками, которые возвращаются в компанию
•Гибкий график работы
•29 дней PTO (18 рабочих дней в год плюс все национальные праздники)
•10 оплачиваемых дней восстановления
•Полная финансовая и юридическая поддержка для независимых подрядчиков
•Бесплатные занятия английским с носителями языка или украинскими преподавателями
•Выделенная поддержка HR
