Представлен BabelTele для сжатия контекста в обмене между LLM
BabelTele — ещё одна попытка заставить LLM разговаривать между собой не человеческим языком, а сильно сжатым машинным кодом смысла. Фреймворк обещает компрессию контекста без файнтюнинга и без правок архитектуры: читаемость для человека и декодируемость для модели разводят по разным углам.
В работе заявляют до 72,1% экономии токенов при 99,5% семантической точности в zero-shot. Если это устойчиво в реальных пайплайнах, то для мультиагентных систем и длинного RAG это выглядит не как лабораторная экзотика, а как способ заметно сбить стоимость и задержки.
Источник: gonzo-обзоры ML статей
Все новости: ai.popovs.tech
