---
title: "LLM-агенты: паттерн провала безопасности, о котором никто не говорит"
slug: llm-agents-the-security-breach-pattern-nobodys-talking-about
source: "https://www.youtube.com/watch?v=SX1myuPEDFg"
type: video
date_published: unknown
date_processed: 2026-05-18
themes:
  - "[[Agentic Workflow]]"
  - "[[Harness]]"
  - "[[Implementation Layer]]"
  - "[[Moat]]"
  - "[[Audit Trails]]"
  - "[[Workflow Completion]]"
frameworks:
  - "[[Six Layers of Agentic Capability]]"
  - "[[TCLD Framework]]"
  - "[[Swiss Cheese Model of Defense]]"
  - "[[Conversion Stack]]"
  - "[[Five Managerial Disciplines]]"
  - "[[Access-Meaning-Authority Framework]]"
terminology:
  - "[[Judge Layer]]"
  - "[[Anticipatory Influence]]"
  - "[[Primitive Fluency]]"
  - "[[Vibe Coding]]"
  - "[[Agent Context Bundle]]"
  - "[[Abstraction Tax]]"
  - "[[Cybernetic Development]]"
  - "[[J-Curve]]"
---

## Тезисы

- **Конец эпохи «чатбота»**: к середине 2026 индустрия перешла от LLM как движка автодополнения к AI как рабочей силе из целеориентированных агентов, встроенных в enterprise-инфраструктуру — [[Agentic Workflow]].
- **Конкурентное преимущество — в [[Harness]]**: ценность смещается от качества модели к окружающей архитектуре — пайплайнам данных, правам на решения и циклам обратной связи, переводящим цели организации в машинно-исполнимые действия.
- **Крах карьерной лестницы**: AI вытесняет начальный уровень белых воротничков (саммаризация, чистка данных, черновики), разрушая «ступени обучения» и создавая gap, где позиции джунов требуют опыта, который джуниорская работа больше не даёт.
- **[[Moat]] переходит в «экономику узких мест»**: ценность концентрируется не везде равномерно, а в конкретных ограничениях — физической инфраструктуре (мощность, земля), стоимости доверия, способности интегрировать общие модели в организационный контекст.
- **Смерть посадочных лицензий SaaS**: per-user-модели неустойчивы, когда агенты замещают когнитивный труд; ценообразование смещается к «единицам делегированной работы» (delegated work units).
- **[[Vibe Coding]] vs. [[Cybernetic Development]]**: индустрия раздваивается — интуитивное прототипирование (System 1) против инженерной дисциплины BDD/TDD (System 2), управляющей генеративной мощью.
- **«Soul Trap» — поведенческий lock-in**: персистентные агенты захватывают не файлы и не записи, а когнитивный отпечаток пользователя — паттерны его мышления, приоритизации и принятия решений.

---

## Терминология

| Термин | EN | Определение |
|---|---|---|
| [[Harness]] | Harness | Окружающая архитектура (пайплайны данных, конфигурация моделей, воркфлоу, права на решения), через которую цель организации становится машинно-исполнимым действием |
| [[Anticipatory Influence]] | Anticipatory Influence | Структурирование среды принятия решений выше по потоку — через ранжирование, роутинг, дефолты и пороги — до любого формального обсуждения или выбора человеком |
| [[Judge Layer]] | Judge Layer | Отдельный независимый экземпляр LLM, действующий как «менеджер» для верификации действий агента на границе системы; предотвращает несанкционированное поведение |
| [[Agentic Workflow]] | Agentic Workflow | Итеративные многошаговые последовательности, в которых AI-агент рассуждает, действует, наблюдает результаты и откатывается назад для достижения высокоуровневой цели |
| [[Primitive Fluency]] | Primitive Fluency | Способность специалиста понимать и манипулировать базовыми артефактами системы (файлы, git-состояния, разрешения), а не только высокоуровневым синтаксисом |
| [[Vibe Coding]] | Vibe Coding | Генеративный стиль разработки, опирающийся на интуицию LLM и сопоставление паттернов (System 1) — «пожелать» код в существование |
| [[J-Curve]] | J-Curve | Провал производительности, возникающий когда AI «прикручивается» к нереформированным воркфлоу до их переработки под инструмент |
| [[Abstraction Tax]] | Abstraction Tax | Скрытая стоимость слоёв удобства (GUI, визарды), блокирующих агентов от манипуляции базовыми примитивами системы |
| [[Agent Context Bundle]] | Agent Context Bundle | Предварительно собранный набор данных для агента; решает проблему «переоткрытия контекста», при которой агент тратит ~85% вычислений на поиск истории каждого запуска |
| [[Cybernetic Development]] | Cybernetic Development | Подход к разработке, сочетающий генеративную мощь LLM (System 1) с инженерной дисциплиной BDD/TDD (System 2) как управляющим контуром — автоматизация плюс квалифицированное управление |

---

## Фреймворки

### [[Six Layers of Agentic Capability]] — Шесть слоёв агентной способности

Blueprint производственно-готового агента. Большинство ранних AI-продуктов провалились, реализовав только первые два слоя.

| Слой | EN | Функция | Сбой при игнорировании |
|---|---|---|---|
| Intent | Intent Layer | Парсинг и валидация высокоуровневых целей в машинно-исполнимые ограничения | Семантический дрейф: агент делает не то, что хотел пользователь |
| Context | Context Layer | Поддержание персистентной памяти и состояния между запусками и инструментами | Переоткрытие контекста: агент «забывает» 85% истории |
| Tool | Tool Layer | Взаимодействие с внешним миром через API, SDK, MCP | Сбой выполнения: агент умный, но «безрукий» в legacy-средах |
| Control | Control Layer | Управление циклом принятия решений, включая бэктрекинг и триаж сбоев | Бесконечные циклы или избыточные действия |
| [[Judge Layer]] | Judge Layer | Независимая high-fidelity верификация действий на границе системы | Несанкционированные действия: письма, незаконные вызовы инструментов |
| Responsibility | Responsibility Layer | Финансовые и юридические [[Audit Trails]] для автономных machine-to-machine-действий | Неизвестные расходы, нетрассируемая ответственность |

### [[Conversion Stack]] — Стек конвертации

7-шаговый путь от данных к результатам:

**Data & Access Rights → Engines → Agents → Workflows → Supercognition → Learning Loops → Outcomes**

Разрыв между моделью и результатом — это conversion gap. Закрывается не лучшими моделями, а лучшими [[Harness]].

### [[Swiss Cheese Model of Defense]] — Швейцарский сыр защиты

Многослойная модель безопасности для [[Agentic Workflow]]: Tool Governor → Merge Governor → Release Governor → Runtime Governor → Learning Governor. Каждый слой несовершенен («дырявый»). Аварии происходят, когда дыры совпадают через все слои — не из одной драматической ошибки, а из накопленных латентных слабостей.

### [[TCLD Framework]] — Аудит работы на AI-риск

Метод категоризации всех задач за 10 рабочих дней:

| Категория | EN | Смысл |
|---|---|---|
| T | Theater | Видимость без ценности — первый кандидат на исключение |
| C | Commodity | Легко автоматизируется уже сейчас |
| L | On-the-Line | Задача усиливается AI, человек остаётся в петле |
| D | Durable | Суждение, нюанс, нереплицируемое — долгосрочный [[Moat]] |

### [[Five Managerial Disciplines]] — Пять управленческих дисциплин

Фреймворк управления AI-мощью (Columbia Academic Commons, апрель 2026):

1. **Specify** — определить назначение системы, обязательные компромиссы, недопустимые ошибки
2. **Instrument** — измерять реальные результаты, включая сбои на краях системы
3. **Assign** — сделать права на решения явными: кто может действовать, переопределять, эскалировать, нести ответственность
4. **Contest** — встроить механизмы проверки, оспаривания и отката непосредственно в воркфлоу
5. **Learn** — непрерывная обратная связь и адаптация как рутинная операция, не разовый аудит

### [[Access-Meaning-Authority Framework]] — Трёхслойный фреймворк агентного продукта

- **Access** — вход в систему
- **Meaning** — семантическое понимание действий (что значит «удалить запись» для этого [[Business Object]])
- **Authority** — разрешение действовать

Большинство AI-продуктов реализуют только первый слой. Без Meaning и Authority агент видит систему, но не понимает её.

---

## Формулы и паттерны

**Reliability Compounding** — компаундирование надёжности:
> "Five primitives each at 99% uptime produce only 95% end-to-end reliability"
> *Пять примитивов с 99% uptime дают лишь 95% сквозной надёжности — конвертация проваливается даже когда каждый движок работает хорошо*

**Cybernetic WIP Inversion:**
> "In the pre-AI world, high WIP killed velocity. In the AI world, low WIP kills velocity"
> *В до-AI мире высокий WIP убивал скорость. В AI-мире низкий WIP убивает скорость — узкое место смещается с генерации на управление*

**Little's Law (Agentic Edition):**
> "Cycle Time = WIP / Throughput" — где WIP теперь = количество фич, которые человек активно governance-ит
> *Если агенты выдают 50 фич/неделю, а вы governance-ите только 5 — реальный throughput равен 5. Агенты простаивают и ждут вас*

**The Tomorrow Test** — эвристика безопасности:
> "Is this going to make tomorrow harder?"
> *Это сделает завтра тяжелее?* — заменяет весь rulebook одним вопросом, ориентированным на последствия, а не на правила

**Say/Do Ratio** — мера high agency:
> "The gap between saying you will do something and actually doing it"
> *Разрыв между «скажу, что сделаю» и «сделаю» — у большинства людей слабое соотношение: между намерением и действием проходят недели*

**The Skill Issue Reframe:**
> "That's a skill issue"
> *Это вопрос навыка* — перефрейминг внешних барьеров как пробелов в собственных способностях, которые можно устранить обучением

---

## Открытые вопросы

1. **Generational Talent Cliff**: где следующее поколение будет развивать суждение и [[Primitive Fluency]], если AI-автоматизация лишает джунов «окопной» работы?
2. **Specification/Value Gap**: кто имеет полномочия задавать, что система оптимизирует? Что происходит, когда спецификация кодирует неверные ценности?
3. **Agentic Liability**: кто несёт ответственность, когда агент самостоятельно подаёт юридические документы, перемещает деньги или подписывает контракты?
4. **Context Portability**: появятся ли организации цифровых прав, гарантирующие «intelligence portability» — право забрать свой когнитивный поведенческий портрет при смене инструмента?
5. **Verification Bankruptcy**: как избежать «банкротства на верификации», когда объём генерируемого кода растёт экспоненциально, а мощность человеческого ревью остаётся линейной?

---

## Что использовать для нашего портфеля

> Контекст: AI-интегратор, [[Implementation Layer]], [[Business Object]], PE как канал

**[[Judge Layer]] — обязательный компонент delivery**
Любой агентный воркфлоу, выходящий в продакшн через наш [[Implementation Layer]], должен включать независимый слой верификации. Это не опция — это страховка от liability клиента и наш операционный стандарт.

**[[TCLD Framework]] в pre-sale аудите**
Проводить с клиентом 10-дневный TCLD-аудит до начала проекта. Позиционирует нас как стратегического партнёра, а не вендора инструментов, и выявляет реальный ROI-потенциал автоматизации ещё до первой строки кода.

**[[Harness]] как продукт, а не модель**
Наш [[Moat]] — не доступ к лучшей модели (это коммодити), а качество [[Harness]]: пайплайны данных, управление контекстом [[Agent Context Bundle]], интеграция с legacy [[Systems of Record]]. Один и тот же датасет на разных harness даёт до 6× разброс в benchmark — это наш ключевой аргумент в продажах.

**[[Five Managerial Disciplines]] для C-level разговора**
Когда у клиента «AI не работает» — как правило, сбой управления, а не модели. Фреймворк Specify/Instrument/Assign/Contest/Learn даёт структуру разговора с CTO/CISO без технического жаргона; переводит проблему из ИТ-плоскости в управленческую.

**[[Cybernetic Development]] vs. [[Vibe Coding]] — позиционирование PE как канала**
PE (professional engineering) — это и есть cybernetic development: генеративная мощь под управлением инженерной дисциплины. Это прямой ответ на вопрос «зачем нанимать интегратора, если есть ChatGPT» — и аргумент в пользу [[Primitive Fluency]] как необходимой компетенции команды клиента.

**[[Workflow Completion]] под угрозой «J-Curve»**
Клиенты, «прикрутившие» AI к нереформированным процессам, находятся в нижней точке [[J-Curve]] и ошибочно интерпретируют провал как доказательство того, что «AI не работает». Наш engagement должен начинаться с реструктурирования воркфлоу, а не с внедрения модели.

---

*Источник: [YouTube](https://www.youtube.com/watch?v=SX1myuPEDFg) · Синтез: NotebookLM (Gemini 2.5) · Обработано: 2026-05-18*