Сейчас набирают популярность модели, которые не рассуждают и не объясняют свои выводы, а просто быстро выносят оценку (см. https://set.ki/post/CDL55sK).

Модели класса «System One» не пишут текст. Они получают сообщение и вопрос заданного вида и возвращают типизированный ответ: вариант из списка, балл или вероятность «да». Вероятность откалибрована: если модель отвечает «0,8», то примерно в 80 % таких случаев правильный ответ действительно «да».

Название отсылает к «Системе 1» Канемана, то есть к быстрому интуитивному мышлению. Ещё такие модели называют моделями решений (deciders). Одна из них, d1-3B от Liquid AI, согласно карточке модели, выдаёт ответ за один прямой проход, не генерируя токенов, и чат-моделью не является.

На основе таких моделей я создал утилиту tege: github.com/ast-ashulga/as.tegerun.cli. Она читает чаты Telegram из белого списка, локально оценивает каждое сообщение и пересылает в один чат только то, что прошло все заданные пороги (например, «вероятность, что это вакансия, не ниже 0,8»). Оценка выполняется на вашем компьютере, и текст сообщений не уходит в облачные сервисы. Для запуска достаточно команды tege run.

Встроенный пример — отбор и классификация вакансий. Но сценариев может быть сколько угодно, ведь вопросы задаёте вы сами: аренда жилья, баг-репорты, лента новостей.

В итоге в отдельном чате собирается только то, что подходит под ваши критерии, без шума и мусора.

Код открыт, и он ваш

Скачивайте, читайте, запускайте и проверяйте, особенно то, как это работает с вашими чатами. Оплата токенов не требуется, ии часть выполняется локально, а это ваша приватность. Утилите, которая читает переписку, не нужно доверять на слово: всё можно посмотреть самому.

Используйте tege как основу для своих задач: меняйте вопросы, пороги, источники. Если найдёте ошибку или придумаете интересный сценарий, пишите. Буду рад узнать, что tege кому-то пригодился.

(tege run используется на macOS, и должна взлететь на Linux)