Матрешка для нейросети: короткие чанки – длинная память
Вы загружаете в нейросеть стенограмму полуторачасового семинара, нажимаете «сделайте краткое содержание» и получаете водянистый реферат, из которого нельзя понять ни основных выводов, ни даже того, о чём, собственно, шла речь. Многие списывают это на несовершенство ИИ, но проблема почти всегда в вашем подходе. Вы пытаетесь скормить модели объём, который она физически не способна обработать без потерь. Это похоже на попытку влить 10 литров воды в трёхлитровую банку – излишки просто выльются, а в банке останется муть.
В когнитивной науке известен эффект потери информации в середине последовательности (U-образная кривая запоминания). Трансформеры, на которых построены современные LLM, страдают той же болезнью: середина длинного контекста усваивается хуже всего. Поэтому совет «закиньте побольше» – антинаучен. Работает прямо противоположное правило: чем короче вход, тем точнее выход.
Решение называется метод «Матрешка» – по сути, это иерархическое сжатие. Первый уровень: делите материал на логические чанки по 5–10 минут (или по 2–3 тысячи знаков). Каждый чанк подаёте отдельно с чётким запросом: выделить факты, цифры, фамилии, причинно-следственные связи. Второй уровень: полученные выжимки (уже краткие) склеиваете и подаёте повторно – для финальной сборки. Детали не теряются, потому что каждый фрагмент обрабатывался моделью в условиях, когда её «внимание» было распределено равномерно.
Приведу наглядный антипример. Неправильно: «Вот запись вебинара, сделайте саммари». Правильно: чанк 1 – выделите три ключевых утверждения, две опорные цифры и одну цитату; чанк 2 – то же самое; затем соберите из этих кубиков общий конспект. Это не магия, это инженерия входных данных.
Конкретный промпт для одного чанка должен выглядеть так: «Извлеки только объективные факты – даты, значения, названия, логические связки. Всё, что не подкреплено данными, игнорируй. Выдавай в формате “тезис – аргумент – таймкод”. Без речевых оборотов и оценок».
Итог прост: дробление спасает детали. Чем меньше кусок, тем выше шанс, что ИИ его правильно поймёт и запомнит.
Пробовали ли вы кормить нейросеть сверхдлинными текстами и получали ли что-то вменяемое?