Вот ещё интересная штука. OpenAI создаёт у себя новую команду "Applied Evals".

Eval - это такая методика для проверки, как ИИ-модель ведёт себя на какой-то задаче на практике. Допустим, обратился к OpenAI какой-то крупный банк и хочет подключить их ИИ для обработки кредитных заявок. Но не через костыли, а напрямую, под ключ и гладенько.

Обработка кредитных заявок - это не гибли-картиночки генерить. Тут точность нужна. А ИИ может и галлюционировать, и просто тупить/косячить. Так ещё и куча нюансов может быть: например, вот заявка без полных данных по доходу, вот цифры кривые, тут ошибка в ФИО, там данные из кредитного бюро не подтянулись... А теперь возьмите не банк, а какой-нибудь завод или ритейлера, и представьте, какие проблемки могут вылезти там.

В общем, перед тем как серьезно внедрять ИИшку в бизнес-процессы (а OpenAI это делать) и выкатывать всё это дело в прод, её работу нужно потестить и обкатать. Заниматься полноценным implementation-консалтингом OpenAI не хочет (не их это дело), но какое-то решение предложить нужно.

И вот придумали evals. Компания будет набирать спецов, имеющих И сильное понимание работы эйай, И глубокую экспертизу в нужной предметной области. И они будут клепать evals-методы и процессы под разные задачи и типа заказчиков, а клиенты-корпораты уже сами будут на эти evals полагаться при внедрении. Как-то так.

Я думаю, что иметь в штате evals-экспертов под каждую индустрию, заказчика и тип задачи невозможно. Зафигачить какую-то универсальную базу методик тоже тяжело. А это значит, что OpenAI скорее всего будет действовать так:

• Нанимать в штат evals-лидов под каждую индустрию/группу задач (например, кредиты в банкинге или логистика в ритейле) ...
• ... а эти чуваки уже будут точечно привлекать экспертов из нужных индустрий, смотря какая задача и заказчик.

Так что, выкусите, луддиты. ИИ не просто не отнимет работу, а позволит озолотиться на экспертных консультациях. Осталось всего лишь стать таким экспертом, чтобы вас привлекал OpenAI.