Я сравнил GPT-5.6 Sol и GPT-6 Sol на четырёх задачах

Вышла GPT-6 Sol, и все вокруг наперебой говорят, что она умнее, быстрее и экономнее. А мне как человеку на подписке хотелось понять простую вещь: насколько быстрее я реально буду с ней работать, а не сколько процентов она набрала в очередном бенчмарке.

Поэтому я попросил Codex устроить небольшой тест прямо у меня на компьютере. Старая и новая модель получили одинаковые четыре задания: написать небольшой модуль кода, собрать в Blender 3D-маяк, нарисовать SVG-иконку с зельем и найти ответ в документации Godot. Каждое задание по одному разу и с одинаковыми настройками, а результаты потом проверялись отдельно, потому что верить моделям на слово дело неблагодарное :)

Весь итог собрал на первой картинке. По времени новая модель справилась со всем набором за 8 минут 18 секунд против 9 минут у старой, то есть примерно на 8% быстрее. Выиграла она в коде, 3D и графике, а в поиске даже немного отстала, потому что сделала вдвое больше веб-запросов и читала больше страниц.

По качеству разницы я, честно говоря, не увидел: код у обеих прошёл все 8 тестов, иконки обе вполне рабочие, и ответы по Godot обе дали правильные. Самое забавное случилось с Blender: оба скрипта упали на одной и той же устаревшей настройке, и обоим пришлось руками править одну и ту же строчку. Маяки на второй картинке (слева от старой модели, справа от новой), и какой из них лучше, тут уже дело вкуса.

С токенами тоже всё не так однозначно, как обещают: на выходе новая модель пишет на 11% меньше, зато на входе съела на 61% больше, и почти всё ушло как раз на тот самый поиск.

В итоге вывод у меня скромный: GPT-6 Sol немного быстрее, но заметно умнее на моих задачах она не оказалась, и проверять за ней всё равно нужно (особенно там, где нет тестов и результат просто «выглядит готовым»). Один прогон на задачу в масштабах вселенной, конечно, ничего не доказывает, но революции в своей работе я пока не заметил.

Пишите, друзья мои, пробовали ли вы уже новую модель в деле? Поменяла она что-то в вашей работе или всё примерно как раньше?

Полная версия поста: https://pikabu.ru/story/ustroil_dvum_neyrosetyam_odinakovyiy_yekzamen_obe_provalili_odno_i_to_zhe_zadanie_14439920и