Опубликованный бенчмарк – не полный. Мы из него исключили победителя – OpenRouter Fusion. Это оркестратор, который гоняет три модели разом, а четвёртая-судья сводит их ответы в один. Он обошёл и Claude Fable, и GPT, и всех остальных. Но это не модель, поэтому в рейтинге его нет.
Кажется, что весь смысл в разнообразии: три модели знают больше одной. И это можно собрать у себя. Но интереснее другое: тот же Claude Opus, склеенный сам с собой (два прогона одной модели плюс судья), подскакивает с последней строчки среди конфигураций почти до уровня топовой одиночной. Значит, прирост даёт сам повторный прогон с синтезом: модель перечитывает собственные черновики и правит их.
За качество приходится платить. Fusion выходит более чем вдвое дороже одиночной топовой модели, 72 секунды на ответ, и на 68% по деньгам это всё тот же Opus, которому через плечо заглядывают GPT и Gemini.
Много технических деталей сравнения Fusion с Fable 5 – в статье на Хабре: Три LLM в одной лодке, не считая судьи