Современные LLM мыслят в метрических пространствах: слова — векторы, смысл — близость. Но что, если следующий этап искусственного "мышления" это не наращивание мощностей, а понимание структуры?    Где искать будущее  Моё предположение - прорыв LLM будет найден на стыке топологии и теории категорий. И вот почему: топология, (как нам всем известно), изучает свойства, неизменные при непрерывной деформации. В контексте LLM мы бы могли использовать это для определения "устойчивости" сентенций: "купи молоко" и "не забудь приобрести молока" будут иметь разный вектор, но одну и ту же топологическую структуру. А топологию как раз и интересует структура - она смотрит не на отдельные слова, а на целостные "формы" - гомологии, которые по иронии и хранят истинный смысл.    При чём тут теория категорий?  В виду своей исторической связи, именно теория категорий позволяет сделать мышление формами вычислимыми:

• Функторы переводят логические утверждения в топологические пространства
• Доказательство строится на поиске непрерывного пути в пространстве
• Понимание достигается установлением гомотопической эквивалентности    Что на практике?  1. Прыжок от статистики к "размышлению" - модель сможет строить истинно логические цепочки, а не подбирать вероятные продолжения.  2. Атака на NP-полные задачи - топология может указать, где искать оптимум для формы пространства всех решений.  3. Невероятная надёжность - если модель понимает инвариантную структуру смысла, её почти невозможно сбить с толку адверсарными примерами.    Трансформируем трансформер  Начать можно с замены самовнимания на работу с универсальными свойствами и изоморфизмами. Здесь мы правда столкнемся с текущей структурой параметров-тензоров, но держа в уме категорийный подход, заменим их на монадическую параметризацию, инкапсулирующую контекст и вычисления. На этом лёгкая часть закончится, и появится две серьезные (но вполне решаемые) преграды. Первая из них - NP-задачи. Текущий подход к ИИ не даёт нам возможностей их решать, но используя топологию мы могли бы найти их решение через персистентную гомологию, а с полученным результатом вернуться обратно (через функтор).    Отложенная революция  Вторая, тяжелопреодолимая (в текущих реалиях) преграда - GPU. Мы так привыкли орудовать "тензорами", что жгём GPU без промедления, ожидая всё новых и новых поставок "волшебных камешков". Но вопрос не в том, сможем ли мы построить другие "камешки", а в том, хватит ли нам мыслетоплива перестать спрашивать у LLM, сколько фотонов она сожгла, и начать строить машины, которые наконец-то будут не считать, а думать.