Описание
Проект создаёт приватный, контролируемый по доступу контекстный слой над данными европейской частной инвестиционной группы, с AI-навыками и агентами, построенными сверху.
Задачи
•Настроить приём звонков, email, Slack и сообщений мессенджеров с атрибуцией говорящего и возможностью обратимого отказа (opt-out)
•Выполнить backfill исторических email, Slack, протоколов совета директоров, презентаций и обновлений по портфельным компаниям, обеспечив их парсинг, дедупликацию и корректную датировку
•Построить парсинг документов: PDF, сканированные board packs, таблицы, презентации, пересланные вложения
•Реализовать resolution идентичности и сущностей across коммуникационных инструментов, календарей, портфельных компаний и CRM-записей
•Построить пайплайны чанкинга и эмбеддинга, загружать vector и graph хранилища согласно онтологии, заданной архитектором
•Реализовать инкрементальную синхронизацию через слой коннекторов, обрабатывая правки и удаления без полного re-crawl или скрытого дрифта
•Прикреплять access scope и provenance к каждой записи при ingestion для поддержки permission-aware retrieval и аудитов
•Выполнять PII detection, редакцию и retention-логику; предоставлять службе безопасности клиента доказательства того, что хранится, где и как долго
•Оркестровать мониторимые, повторяемые пайплайны с помощью Airflow, Step Functions или аналогов, уведомлять, когда источник перестаёт поступать
•Контролировать стоимость и латентность при объёме через батчинг, инкрементальный эмбеддинг и storage tiering; отчитываться по unit economics
•Писать runbooks, чтобы команда клиента могла эксплуатировать систему после передачи
Требования
•4+ лет в data engineering, включая работу с неструктурированными или полуструктурированными данными сверх warehouse-моделирования
•Подтверждённый опыт интеграции нескольких сторонних API в единое хранилище, включая исторический backfill
•Опыт работы с чувствительными персональными данными в регулируемой или security-sensitive среде
•Готовность работать единственным data engineer в небольшом pod на 2.5 FTE, при частичной занятости, без постоянного наставничества
•Сильный Python и уверенный SQL
•Опыт с пайплайнами неструктурированных данных для транскриптов, писем, чатов и документов, включая парсинг, нормализацию и дедупликацию
•Опыт с chunking-стратегиями, vector stores такими как pgvector, OpenSearch или системы класса Pinecone, и загрузкой graph-хранилищ
•Опыт интеграции API и коннекторов на масштабе, включая Google Workspace или M365, Slack, CRM; rate limits, пагинация, инкрементальные курсоры и webhooks
•Опыт entity resolution или record linkage, детерминированного и нечёткого, без чистого общего ключа
•Опыт с Airflow, Step Functions или аналогичной оркестрацией и идемпотентными, перезапускаемыми джобами
•Опыт работы со стеком данных AWS и/или GCP, комфорт с private или VPC деплойментами
•Практические знания PII detection, редакции, шифрования и retention
•Чёткий письменный английский; умение готовить документы по передаче и работать асинхронно в небольшом распределённом pod
•Знание GDPR применительно к данным, генерируемым сотрудниками, и резидентности данных ЕС в нескольких юрисдикциях
•Знание data lineage, provenance и аудиторских паттернов
•Понимание того, как качество retrieval зависит от качества ingestion, и достаточные знания RAG для принятия upstream-решений
Будет плюсом
•Опыт построения пайплайнов, питающих LLM или retrieval систему
•Well-Architected практики по безопасности и стоимости
•Понимание ожиданий финансовых услуг (financial-services)
Условия
•Частичная занятость, 20–30 часов в неделю; allocation может превышать 0.5 FTE во время этапов Capture и Connect и возвращаться к норме после
•Примерно восемь-десять двухнедельных спринтов в целом, с нагрузкой, смещённой на первые четыре-пять
•Активный проект; старт как можно скорее
