Закон Мура для эпохи ИИ: новая метрика прогресса

Мы перевели свежую лекцию профессора Стэнфорда Эндрю Ына о карьере в области ИИ. В ней меня заинтересовал график, который, возможно, лучше всего объясняет, что происходит с индустрией прямо сейчас.

Многие привыкли оценивать модели по «размеру контекстного окна» (сколько текста в нее влезает) или объёму параметров, зашитых в LLM. Но этот график предлагает более важную метрику - длительность задачи, которую ИИ способен выполнить автономно, не теряя нить рассуждений.

По сути, это новый закон Мура: Способность ИИ удерживать контекст задачи удваивается каждые 7 месяцев.

Как читать этот график:

Ось Y - это время, которое обычно требуется компетентному человеку для решения задачи.

Ось X: • 2019 (Уровень «Секунды»): Эпоха GPT-2. Задача: «Ответь на вопрос» или «Закончи предложение». Это уровень рефлекса. ИИ не «думал», он просто мгновенно реагировал.

• 2022–2023 (Уровень «Минуты»): Эпоха GPT-3.5 и ранних версий GPT-4. Задача: «Найти факт в документе», «Написать емейл», «Кратко пересказать статью». Здесь ИИ уже мог удерживать внимание на короткой дистанции, как стажер, которому дали очень простое поручение.

• 2024–2025 (Уровень «Часы»): Недавние модели (o1, Sonnet 3.7). Задача: На графике это обозначено как «обучение классификатора», но на языке бизнеса это означает решение комплексной проблемы. Представьте задачу, которую программист или аналитик делает полдня: Напиши скрипт для сбора данных с сайта, протестируй его, исправь ошибки, которые возникнут при запуске, и сохрани результат в Excel Раньше модель терялась на втором шаге. Теперь она способна пройти весь цикл, который у человека занимает до 4 часов работы.

Важное примечание про код: Внизу графика есть деталь: для задач по программированию удвоение происходит еще быстрее - каждые ~70 дней. Это объясняет, почему именно в разработке мы чувствуем влияние ИИ острее всего.

Если раньше мы сравнивали ИИ с энциклопедией, то теперь корректнее сравнивать его с сотрудником, чей горизонт планирования стремительно растет.