---
title: "They compared the wrong thing"
type: formula
source_author: "Nate B. Jones"
date_processed: "2026-05-18"
quote_en: "They compared the wrong thing."
theme: "benchmarking"
tags: []
---

# They compared the wrong thing

> "They compared the wrong thing."

**Перевод:** «Они сравнивали не то.»

**Контекст:** Разрыв в результатах (78% vs 42%) объясняется не моделью, а harness'ом — инфраструктурой, промптами и оркестрацией. Сравнение моделей без учёта обёртки бессмысленно.

**Применение в нашем портфеле:** При оценке AI-вендоров тестировать полный стек, а не изолированную модель.

## Источник

- [[2026-05-18_same-model-78-vs-42-the-harness-made]]