ingest: rag-agents-knowledge-layer-architecture

Business/Nate Corpus/2026-05-18_rag-agents-knowledge-layer-architecture.md

@@ -0,0 +1,129 @@
+---
+title: "RAG for AI Agents — Knowledge Layer Architecture"
+slug: rag-agents-knowledge-layer-architecture
+type: video
+source: "https://natesnewsletter.substack.com/p/rag-agents-knowledge-layer-architecture"
+author: "Nate (Nate's Substack)"
+published: 2026-05-13
+processed: 2026-05-18
+themes:
+  - "[[RAG]]"
+  - "[[Agentic Workflow]]"
+  - "[[Implementation Layer]]"
+  - "[[Audit Trails]]"
+  - "[[Systems of Record]]"
+frameworks:
+  - "[[Knowledge Layer]]"
+  - "[[Retrieval Contract]]"
+  - "[[Context Assembly]]"
+terminology:
+  - "[[Knowledge Layer]]"
+  - "[[Retrieval Contract]]"
+  - "[[Context Assembly]]"
+  - "[[Provenance]]"
+  - "[[Stack ADR]]"
+  - "[[Agentic Workflow]]"
+  - "[[Implementation Layer]]"
+  - "[[Audit Trails]]"
+  - "[[Systems of Record]]"
+---
+
+# RAG for AI Agents — Knowledge Layer Architecture
+
+## Суть
+
+Производственные AI-агенты проваливаются не из-за неверного метода ретривала (retrieval), а потому что система ретривала не способна **собрать** нужный контекст до начала работы агента. Проблема не в поиске — в сборке ([[Context Assembly]]). Векторный поиск деградирует с позиции «всей архитектуры» до одного компонента внутри более широкого [[Knowledge Layer]], который включает ретривал, структуру документов, семантические модели данных, контроль доступа, провенанс, память и write-back.
+
+## Ключевой тезис
+
+> "That's the new RAG problem — not a retrieval problem, an assembly problem."
+> *Это новая проблема RAG — не проблема ретривала, а проблема сборки.*
+
+Агент пересоздаёт 85% контекста при каждом запуске — это токены, время и уверенные ошибки. Уверенный неправильный ответ — самый дорогой вид ошибки.
+
+## Почему классический RAG ломается
+
+Векторная БД находит текст, семантически связанный с вопросом. Этого недостаточно.
+
+Агент нуждается в:
+- текущей записи аккаунта из [[Systems of Record]]
+- правах пользователя (access control)
+- актуальной политике
+- нужном разделе длинного документа
+- таблице за конкретной метрикой
+- решении с прошлого совещания
+- цепочке источников для [[Audit Trails]] — чтобы человек-ревьюер мог восстановить логику
+
+Без этого модель **импровизирует** → неверные возвраты клиентам, устаревшие политики в ответах, устаревшие метрики в презентациях для совета директоров.
+
+## Архитектура Knowledge Layer
+
+[[Knowledge Layer]] = слой поверх векторного поиска:
+
+| Компонент (RU) | EN | Роль |
+|---|---|---|
+| Ретривал | Retrieval | Векторный поиск как один из компонентов, не вся архитектура |
+| Структура документов | Document Structure | Навигация по разделам длинных документов |
+| Семантические модели данных | Semantic Data Models | Привязка чанков к бизнес-объектам |
+| Контроль доступа | Access Control | Права пользователя как часть контекста до передачи в модель |
+| [[Provenance\|Провенанс]] | Provenance | Цепочка источников для [[Audit Trails]] и объяснимости |
+| Память | Memory | Сессионная и долгосрочная память агента |
+| Write-back | Write-back | Возможность агента обновлять базу знаний |
+
+## Retrieval Contract — 7 вопросов
+
+[[Retrieval Contract]] — семь вопросов для проверки, способен ли [[Knowledge Layer]] поддержать производственного агента. Полный список — за paywall.
+
+TBD — детали контракта недоступны без подписки.
+
+> Открытый вопрос: какие именно 7 вопросов включает [[Retrieval Contract]] и есть ли у них публичный аналог в open-source литературе?
+
+## Сигналы рынка
+
+Четыре компании — Pinecone, PageIndex, SAP, Dremio — демонстрируют один и тот же сдвиг: «ретривал» для агентов больше не означает только поиск. Это сборка задаче-ориентированного контекста.
+
+## Артефакты (paste-ready, за paywall)
+
+| Артефакт | Назначение |
+|---|---|
+| Retrieval Contract Spec | Спецификация контракта ретривала для конкретного агента |
+| Failure Triage | Диагностика отказов — где именно ломается сборка контекста |
+| [[Stack ADR]] | Architecture Decision Record — обоснование выбора стека знаний |
+
+## Терминология
+
+| Термин (RU) | EN | Определение |
+|---|---|---|
+| [[Knowledge Layer]] | Knowledge Layer | Слой знаний поверх векторного поиска; включает ретривал + структуру + ACL + провенанс + память + write-back |
+| [[Retrieval Contract]] | Retrieval Contract | 7 вопросов, определяющих готовность слоя знаний к производственному [[Agentic Workflow]] |
+| [[Context Assembly]] | Context Assembly | Сборка задаче-ориентированного контекста до запуска агента — в отличие от поиска по запросу в реальном времени |
+| [[Provenance]] | Provenance | Цепочка источников, позволяющая аудитору восстановить логику решения агента; часть [[Audit Trails]] |
+| Write-back | Write-back | Возможность агента записывать результаты работы обратно в базу знаний |
+| [[Stack ADR]] | Stack ADR | Architecture Decision Record — документ обоснования архитектурных решений по стеку |
+
+## Что использовать для нашего портфеля
+
+**Контекст: AI-интегратор, [[Implementation Layer]], бизнес-объекты как единица знания, PE как канал.**
+
+**1. Переформулировать RAG в пресейле**
+Не «векторный поиск», а «сборка контекста» ([[Context Assembly]]). Клиенту важно не то, чем ищем, а что агент получает до начала работы. Это точка дифференциации от коробочных RAG-решений.
+
+**2. Бизнес-объект как единица ретривала**
+Классический RAG режет документы на чанки без структуры. Правильный [[Knowledge Layer]] привязывает чанки к бизнес-объектам (аккаунт, политика, метрика, контракт). Это архитектурный принцип нашего [[Implementation Layer]].
+
+**3. [[Audit Trails]] и [[Provenance]] — не опция**
+Для enterprise-клиентов (финансы, страхование, юридика) объяснимость агента — регуляторное требование. Продаём [[Provenance]] как встроенную функцию, а не постфактум-дополнение.
+
+**4. Контроль доступа внутри [[Knowledge Layer]]**
+Права пользователя должны фильтровать ретривал до передачи контекста в модель. Это архитектурное требование, а не фильтр на выходе.
+
+**5. PE-канал: апгрейд существующих RAG**
+Портфельным компаниям PE, у которых уже есть базовый RAG (только вектор), предлагаем надстройку: структура документов + ACL + [[Provenance]] + память. Входная точка — [[Failure Triage]] по текущим сбоям агентов.
+
+**6. Write-back как дорогостоящая фича следующего цикла**
+Агенты, которые обновляют [[Systems of Record]] по результатам своей работы — следующий уровень [[Agentic Workflow]]. Стоит заложить в product roadmap для клиентов с высокой агентной зрелостью.
+
+> Открытый вопрос: есть ли у текущих клиентов метрика доли контекста, пересобираемого при каждом запуске агента? Это готовый KPI для обоснования апгрейда с классического RAG до полноценного [[Knowledge Layer]].
+
+---
+*Источник: Nate's Substack, опубликовано 2026-05-13. Основной контент (7 вопросов, артефакты) — за платной подпиской; извлечённые данные — из публичного превью.*