Добавил Claude к YandexGPT в анализатор договоров — нашёл в 2.5 раза больше рисков

Почему одной LLM недостаточно, как двухслойная валидация ловит ошибки модели, и сколько бизнес экономит на проверке договоров.

Что было в первой версии

Пару недель назад я рассказывал, как построил модульную систему промптов для YandexGPT. 32 тематических промпта, детекторы паттернов, калибровка по рынку. Система работала, находила риски, но вылезли проблемы:

1. Ложные срабатывания — LLM иногда «видела» асимметрию там, где её не было

2. Пропуски — некоторые паттерны (типа «1% в день за невывоз») проскакивали мимо

3. Нет второго мнения — одна модель, одна точка отказа

Пример ложного срабатывания:

{ "flag": "Асимметрия пеней: Покупатель 0.1%, Поставщик 0.1%", "danger": "HIGH" }

Подождите. 0.1% vs 0.1% — это симметрия, не асимметрия. LLM ошиблась.

Решение: два слоя детекции

┌─────────────────────────────────────────────────────────────────┐ │ ДВУХСЛОЙНАЯ ДЕТЕКЦИЯ │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ Слой 1: LLM-анализ (YandexGPT или Claude) │ │ ├─ 32 тематических промпта │ │ ├─ Возвращает: 8 блоков анализа + redFlags[] │ │ └─ Проблема: бывают false positives │ │ │ │ Слой 2: Текстовые детекторы (код) │ │ ├─ 25+ специализированных детекторов │ │ ├─ Численная валидация (ловит ошибки LLM) │ │ └─ Ссылки на нормы права (ГК РФ, ТК РФ) │ │ │ │ Результат: LLM-флаги + текстовые флаги → дедупликация │ │ │ └─────────────────────────────────────────────────────────────────┘

Как код ловит ошибки LLM

Текстовый детектор проверяет асимметрию численно:

function detectPenaltyAsymmetry(penalties): Flag | null { const party1Rate = parseFloat(penalties.party1?.rate || '0'); const party2Rate = parseFloat(penalties.party2?.rate || '0'); if (party1Rate === 0 || party2Rate === 0) return null; const ratio = Math.max(party1Rate, party2Rate) / Math.min(party1Rate, party2Rate); if (ratio < 3) return null; // Соотношение < 3:1 — не флагуем return { flag: `Асимметрия пеней ${ratio.toFixed(1)}:1`, danger: ratio >= 10 ? 'CRITICAL' : ratio >= 5 ? 'HIGH' : 'MEDIUM' }; }

Если LLM сказала «асимметрия», а код посчитал ratio < 3 — флаг LLM отбрасывается.

22 текстовых детектора

Почему добавил Claude

YandexGPT хорош, но у Claude оказался лучше «юридический reasoning». Прогнал один и тот же договор поставки через обе модели:

Claude нашёл в 2.5 раза больше рисков на том же договоре.

Что нашёл Claude, а YandexGPT пропустил

1. Неустойка 1%/день за невывоз товара

В договоре:

YandexGPT увидел cap «не более 2%» и решил, что всё ок.

Claude понял: 1%/день = 365%/год — кабальное условие по ст. 333 ГК РФ, даже с cap'ом.

2. Противоречие между пунктами

• П. 4.4: «Поставка осуществляется только путём самовывоза»

• П. 6.2: «Поставщик организует доставку транспортной компанией»

YandexGPT не заметил. Claude флагнул как противоречие.

3. Антикоррупционная оговорка без адекватного срока

Claude отметил: 10 дней — слишком короткий срок для серьёзной проверки, риск для добросовестной стороны.

Почему такая разница?

По нашим наблюдениям:

1. Размер контекста — у Claude Opus контекст 200K токенов, он лучше видит связи между далёкими пунктами договора

2. Качество reasoning — Claude лучше «понимает» юридическую логику, а не просто матчит паттерны

3. Меньше галлюцинаций — реже выдумывает несуществующие риски

Стоимость токенов

Сравнение цен на 1M токенов (async режим):

В «Эконом» режиме используется mixed стратегия — сложные блоки (parties, payments, penalties, Deep Risk) идут через YandexGPT Pro, простые через Lite.

Claude дороже, но разница в качестве ощутимая — особенно на сложных договорах (франшиза, IT, строительство).

Экономика для бизнеса

Зачем вообще это нужно? Вот сравнение:

Пример расчёта:

Компания проверяет 10 договоров в месяц.

• Юрист: 10 × 20 000 ₽ = 200 000 ₽/месяц

• Сервис: 10 × 499 ₽ = 4 990 ₽/месяц

• Экономия: ~195 000 ₽/месяц или 2.3 млн ₽/год

Конечно, сервис не заменяет юриста полностью — сложные сделки всё равно требуют человека. Но для типовых договоров (аренда, поставка, услуги) AI справляется с первичной проверкой и выявляет большую часть рисков.

Как это работает для пользователя

1. Загружаете договор (PDF, DOCX, DOC)

2. Выбираете режим: «Эконом» (YandexGPT) или «Глубокий анализ» (Claude)

3. Через 1-2 минуты получаете отчёт:

   • Стороны и их роли

   • Финансовые условия

   • Сроки и этапы

   • Риски с цветовой кодировкой (CRITICAL / HIGH / MEDIUM)

   • Ссылки на нормы ГК РФ

   • Рекомендации по каждому риску

Итоги

1. Одной LLM недостаточно — нужна валидация кодом. Текстовые детекторы ловят ошибки любой модели.

2. Claude находит больше — на том же договоре в 2.5 раза больше рисков. Для сложных договоров разница критична.

3. Двухслойная архитектура — LLM для понимания контекста + код для численной проверки = меньше ложных срабатываний, меньше пропусков.

4. Экономия для бизнеса реальная — 299-499 ₽ вместо 15-50K ₽ за проверку. При 10+ договорах в месяц окупается многократно.

Попробовать: legalparser.ru — 2 бесплатных анализа при регистрации. Можно сравнить «Эконом» и «Глубокий анализ» на своём договоре.

Вопросы про архитектуру, промпты, детекторы — в комментариях.