Reflection Llama-3.1: Встречаем Next Gen ИИ

Думаю, уже все слышали, что несколько часов назад OpenAI выпустила принципиально новую модель o1 в двух вариантах (preview полной и упрощенной mini). Но немногие знают, что на прошлой неделе выпустили также очень интересную опенсорсную модель Reflection Llama-3.1.

Что их объединяет? Их обе можно отнести к Next Gen AI, и по важности изменений это сравнимо с появлением мультимодальности в GPT-4o.

Так в чем именно принципиальность перемен? В своих лекциях о ИИ я рассказываю о разнице между "System 1" и "System 2" мышления по Даниэлю Канеману. Он объяснял это на примере того, как думает человек, но это все актуально и для ИИ. System 1 – это быстрое и интуитивное мышление, работающее на автомате. System 2 — это более медленное, более осознанное и аналитическое мышление, требующее усилий.

И если человек может переключаться между двумя режимами – отвечает быстро на вопросы типа 2+2 без раздумий, или останавливается, чтобы подумать для какого-то более сложного вопроса типа 78*27. Это традиционно ИИ на основе LLM имел только System 1 и именно поэтому имел проблемы со сложными вопросами по математике, логике и везде, где нужно "остановиться и подумать".

Новые ШИ-модели начинают совмещать эти две системы, что позволяет им не только быстро обрабатывать информацию, но и делать обоснованные выводы. Это открывает двери для более сложных применений, таких как принятие решений в неопределенных ситуациях или творческий подход к решению проблем.

Open AI традиционно не раскрывает детали реализации своей модели, зато информация о Reflection Llama-3.1 открыта. Она использует технику "Reflection-Tuning" и учится обнаруживать ошибки в своем мышлении и исправлять их сама. То есть, ИИ не только быстро реагирует (System 1), но и способен к самокоррекции и глубокому анализу (System 2).

Модель использует специальные тэги для разделения своего мышления и ответов. Внутренние размышления оформляются в <thinking>, финальные ответы – в <output>, а если находит ошибку, использует <reflection> для ее исправления. Этот подход позволяет модели оценивать собственное мышление, что повышает точность и надежность результатов, уменьшает вероятность галлюцинаций, когда модель выдает вообще чушь.

Поэтому, если кого-то LLM-модели раздражали тем, что недостаточно умны, то сейчас все быстро меняется. Я лично погоняю o1-preview в платной подписке GPT Plus, она мне прям очень понравилась и даже помогала писать этот текст :) Модель Reflection Llama-3.1 можно погонять в LM Studio локально и бесплатно.