Итоги исследования по мультиагентным запросам на Companion окончились такими цифрами:

Потрачено 53600р на запросы к ллм

Задействована 41 модель

Длительность около 3 суток на проверку, гипотезу, валидацию и доп проверку результатов

Модели со стоимостью выше 1000р/1млн токенов падали с регулярностью около 20% из-за не стабильности прокси

Собрано свыше 50 задач по Companion, затрагивающих фронтенд/бэкенд/дизайн/промптинг

Создано внутренних инструментов для исследования 8

Выявлено 18 гипотез, которые драматически увеличат качество пользования приложения

Около 12 задач было реализовано в процессе исследования, которые сделали невалидными 2 исследования

Проверка и доработка промтов на реальных данных прошла ровно 9 кругов ада переписываний препромта, чтоб исключить галлюцинации на слабых и дешевых моделях

Неожиданным образом, слабые модели пару раз дали очень необычные инсайты

Потрачено токенов суммарно более 150млн на все модели

На отдельные исследования было выделено более 15 отдельных моделей, работающих единовременно

Стало страшно