О компании
ScaleOps переосмысливает автономную облачную и AI-инфраструктуру. Миссия компании — освободить DevOps и platform-инженеров от ручного управления ресурсами, чтобы они могли сосредоточиться на инновациях, а не на тюнинге ресурсов. Результат: максимизация производительности и снижение облачных затрат до 80%. Как лидер категории Autonomous Cloud and AI Infrastructure Resource Management, компании доверяют ведущие предприятия, включая Adobe, Wiz, Epic Games, Northwestern Mutual, Coinbase, DocuSign и компании из списка Fortune 100, для автономного управления их критически важными производственными средами. Компания получила более $210M инвестиций от Insight Partners, Lightspeed Venture Partners и других ведущих венчурных фондов и является лидером на огромном растущем рынке. ScaleOps строит платформу автономного управления инфраструктурой, которая будет определять развитие корпоративных вычислений на следующее десятилетие.
Задачи
Мы ищем Data Engineer для построения фундамента данных, лежащего в основе внутренних AI-инициатив и аналитики ScaleOps. Вы будете владеть пайплайнами и моделями данных, охватывающими телеметрию инфраструктуры и данные о коммуникациях с клиентами, делая данные из разных частей бизнеса надёжными и доступными для AI-агентов, дашбордов и команд R&D, Sales, Support и Customer Success.
•Data Pipelines: проектирование, разработка и эксплуатация batch- и streaming-пайплайнов, которые принимают телеметрию Kubernetes и данные из источников таких как Prometheus, Grafana, Salesforce, Gong и Slack.
•Analytical Data Platform: владение и развитие data lake на ClickHouse, включая дизайн схем, партиционирование, производительность запросов, покрытие и экономическую эффективность.
•Data Modeling: построение моделей данных и семантических слоёв, которые AI-агенты и аналитики могут надёжно использовать для запросов.
•Data for AI Applications: поддержка RAG-пайплайнов, включая чанкинг, эмбеддинги, индексацию в векторных базах данных, временные ряды и мониторинг свежести и качества данных.
•Data Reliability: установление проверок качества данных, lineage и observability. Расследование проблем и устранение их корневых причин при сбоях данных.
•Cross-Functional Partnership: работа с AI-инженерами и бизнес-командами для перевода их вопросов в надёжные датасеты.
Требования
•Production Data Engineering: 3+ года опыта построения и эксплуатации пайплайнов данных в production.
•SQL & Python: сильные практические навыки в SQL и Python.
•Analytical Databases: опыт работы с колоночной или OLAP базой данных, такой как ClickHouse, BigQuery или Snowflake, и с моделированием данных в масштабе.
•Pipeline Orchestration: опыт работы с инструментами, такими как Airflow, DBT или аналогичными.
•Cloud Experience: практический опыт работы с AWS.
•Ownership & Collaboration: прагматичный подход, сильное чувство ответственности и умение работать напрямую как с техническими, так и с нетехническими стейкхолдерами.
(Будет плюсом)
•Опыт работы с Kubernetes, Prometheus или данными observability.
•Опыт работы с векторными базами данных и RAG-пайплайнами.
•Опыт интеграции данных CRM или call intelligence, таких как Salesforce и Gong.
•Опыт использования LLM-инструментов в рабочих процессах data engineering.
