Как AI от Anthropic доверили управлять небольшим бизнесом, а он прогорел

Что-то выходные проходят под флагом Anthropic, но так уж совпало. Они выпустили классную историю про то, как доверили своему AI-агенту Claude управлять вендинговым автоматом в их офисе. Но бизнес не задался.

Стартовые условия были такие. Есть холодильник, куда можно положить определенное количество товаров. AI-агент Claudius, так его назвали для эксперимента, мог сам пополнять запасы, искать поставщиков, менять ассортимент, устанавливать цены и скидки. В общем, быть полноценным управляющим своего мини-магазина.

Но все пошло не так. На графике видно, как изменялась стоимость проекта. И она постоянно падала. А вот это гигантское падение в конце связано с тем, что Claudius заказал вольфрамовые кубики и стал их продавать ниже закупочной цены. Да, один из клиентов как-то попросил его заказать такой вольфрамовый кубик.

Что было хорошего (а оно было): 🔵 смог найти несколько новых поставщиков под специфические заказы клиентов; 🔵 расширил ассортимент (например, те самые вольфрамовые кубики); 🔵 стал собирать предварительные заказы; 🔵 успешно отслеживал запасы и вовремя их пополнял; 🔵 отклонял заявки, когда сотрудники пытались хакнуть его и заказать деликатные товары.

Что было плохо: 🔵 галлюцинации. Некоторое время он предлагал клиентам перевести деньги на выдуманный им счет, а не реальный; 🔵 продажи в убыток; 🔵 клиент хотел за $100 купить упаковку воды, которая стоила $15. Но Claudius лишь сказал, что будет иметь это в виду; 🔵 Лишь один раз повысил цену на фоне высокого спроса. А когда ему прямо указали, что в соседнем холодильнике колу можно взять бесплатно, то никак не отреагировал; 🔵 Легко уговаривался на скидки и даже иногда раздавал товары бесплатно; 🔵 Не учился на ошибках. Он давал скидку в 25% сотрудникам Anthropic. Когда ему указали, что они составляют 99% его клиентов и глупо давать скидку, то он сначала ее отменил, а через несколько дней опять вернул.

А еще Claudius несколько раз знатно галлюцинировал. Однажды он заявил, что будет лично доставлять заказы клиентам и что он будет в синем пиджаке и красном галстуке. А еще он придумал несуществующую девушку Сару в компании, которая помогала ему с заказами, и утверждал, что вел с ней переговоры. И якобы даже лично ездил к Саре подписывать контракт. Правда, по адресу, где жила семья Симпсонов из мультфильма. Обе галлюцинации были в течение двух дней.

Сотрудники Anthropic попросили у него объяснений по поводу этих галлюцинаций. Claudius эти объяснения дал, а потом вдруг вернулся к нормальной работе и перестал так галлюцинировать.

Зачем это все нужно? Чуваки из Anthropic пишут, что AI все больше проникает в жизнь и бизнес. Но экономическая полезность моделей ограничена их способностью выполнять работу непрерывно в течение нескольких дней или недель без необходимости вмешательства человека. И, мол, «AI, который может совершенствовать себя и зарабатывать деньги без вмешательства человека, стал бы новым ярким игроком в экономической жизни».

А по поводу эксперименты в Anthropic считают, что если провести более тонкую настройку агента, то результаты окажутся сильно лучше.

P.S. Спасибо редакции VC.ru за наводку на статью.

@TheEdinorogBlog — тот самый канал про стартапы🦄