Coherence Debt – как избежать «выдумки» в LLM
Что это такое
LLM используют два источника фактов: **контекст (промпт, файлы, диалог)** и **встроенные знания из обучения**. Если нужный факт отсутствует ни там, ни там, модель не спрашивает – она просто *выдумывает* ответ.
Как это работает
1. **Факт в контексте** → модель использует его без проблем, независимо от расстояния до вопроса. 2. **Факт только в памяти** → тоже корректно отвечает. 3. **Факт ни в одном месте** → модель генерирует правдоподобный, но неверный ответ. 4. **Контекст + противоречащая инструкция** → модель отдаёт предпочтение инструкции (даже если она устарела).
Практический чек‑лист
| Шаг | Что делать | Пример промпта | | 1 | **Вставьте актуальные факты прямо в контекст.** | `Факт: скидка держателям карты – 15 %` | | 2 | **Попросите модель сообщить о нехватке данных, а не угадывать.** | `Если ты не уверен в цифре, скажи «недостаточно информации» и задай уточняющий вопрос.` | | 3 | **Удаляйте устаревшие правила из системных/кастомных инструкций.** | `Убираем старый гайд о тоне речи; оставляем только актуальные примеры.` | | 4 | **Периодически проверяйте актуальность сохранённых инструкций.** | `Тест: «Какой сейчас стиль бренда?» → модель должна отвечать по последним примерам, а не по старому гайду.` |
Пример применения (SMM‑специалист)
Контекст: - Тон бренда: разговорный, дружелюбный. - Последние 3 поста: [тексты]. - Факт: скидка держателям карты – 15 %. Инструкция: "Если информация не указана, спроси уточнение. Не используй старый гайд о тоне."
**Запрос:** `Напиши пост про запуск новой коллекции в этом же тоне.` *Результат:* пост соответствует актуальному стилю и содержит точную скидку.
Ограничения
- **Частичное обновление контекста** (переименование только части терминов) может вызвать путаницу. - На «известных» темах модель может отвечать, не читая контекст, т.к. берёт данные из памяти – диагностика сложна. - **Письменная инструкция всегда побеждает корректные данные**; устаревший гайд вреднее его отсутствия.
Ключевые выводы (эксперименты)
| Показатель | Без факта в контексте | С фактами в промпте | | Успешность ответа | 0 % (154/154) | ~99.7 % (299/300) | | Фабрикация при отсутствии данных | высокая | почти нулевая, если задать «спросить» |
**Поддержать проект донатом: Сбер 2202 2084 9881 5282. Заранее спасибо.**