Описание
Технологический стартап, создающий AI-платформу для автономного управления и оптимизации data lakehouse. Продукт автоматизирует обслуживание данных, улучшает производительность запросов и снижает затраты на инфраструктуру в крупномасштабных средах данных с использованием Apache Iceberg. Команда фокусируется на высокопроизводительных системах данных, распределённых вычислениях, оптимизации на Rust и интеграции AI, предлагая возможность работать над сложными задачами инфраструктуры данных в продуктовой компании на ранней стадии.
Задачи
•Разработка надёжных workflow обслуживания данных для Apache Iceberg: compaction, snapshot expiry, manifest rewriting, orphan file cleanup — с сильным фокусом на целостность и корректность данных
•Вклад в Rust-based мультидвижковый SQL query router: поддержка коннекторов, ревью community-контрибуций, участие в формировании продуктового roadmap
•Проектирование и разработка сервисов, превращающих сигналы о здоровье таблиц в безопасные, корректные операции обслуживания
•Обеспечение верифицируемой корректности каждого коммита в таблицу клиента, включая случаи конкурентных writer'ов, ретраев и частичных сбоев
•Работа над production-grade compaction engine и системами вокруг него
•Поддержка QueryFlux: триаж issues, ревью pull request'ов, разработка новых коннекторов для движков, выпуск релизов
•Эксплуатация того, что разрабатывается, в production, включая on-call и отладку в реальных окружениях клиентов
Требования
•5+ лет опыта разработки ПО на Java
•Сильный опыт разработки на Rust
•Опыт работы с TypeScript
•Production-опыт работы с инфраструктурой данных и поддержкой production-систем
•Рабочее знание Apache Iceberg и Parquet
•Уверенный опыт работы с PostgreSQL
•Опыт работы с Kubernetes
•Понимание операций обслуживания данных и целостности данных
•Умение работать самостоятельно и брать на себя ответственность за технические решения
•Сильные коммуникационные и командные навыки, включая код-ревью и open-source контрибуции
Будет плюсом
•Опыт работы с Apache Spark или DataFusion
•Опыт работы с движками запросов, такими как Trino
•Опыт с SQL routing, query proxying или мультидвижковыми системами запросов
Условия
•People-first менеджмент с минимальной бюрократией
•Дружелюбная культура компании, подтверждённая сотрудниками, которые возвращаются
•Гибкий график работы
•29 дней PTO (18 рабочих дней в год плюс все национальные праздники)
•10 оплачиваемых recovery days
•Полная финансовая и юридическая поддержка для независимых подрядчиков
•Бесплатные занятия английским языком с носителями языка или украинскими преподавателями
•Выделенная HR-поддержка
