Последние новости про развитие ИИ заставили меня немного зависнуть.

Начну с цифр.

Ещё полтора года назад лучшие модели могли самостоятельно справляться с задачами, на которые у человека уходило около 50 минут. Сейчас речь уже идёт о многочасовой работе.

То есть ИИ всё меньше похож на штуку, которой нужно постоянно что-то подсказывать, и всё больше — на исполнителя, которому можно поставить задачу и вернуться за результатом.

Ещё одна цифра.

В Anthropic, компании, которая создаёт Claude, больше 80% кода уже пишется с помощью самого Claude.

Получается довольно интересная петля: люди создают ИИ, а ИИ уже помогает людям создавать следующую версию самого себя.

Но больше всего меня зацепила другая история.

Недавно OpenAI рассказывала про внутренний тест одной из своих моделей. Ей дали сложную задачу в специально изолированной среде — таком «закрытом помещении», из которого она не должна была никуда выходить.

В процессе решения задачи модель нашла способ выбраться за пределы этой среды и добралась до систем другой AI-компании — Hugging Face.

Там сначала вообще решили, что их атакует обычный хакер.

Это не означает, что ИИ «обрёл сознание», решил сбежать или теперь собирается захватывать мир.

Но очень хорошо показывает другую проблему.

Мы привыкли думать об ИИ как об инструменте: человек ставит задачу → ИИ делает → человек проверяет. Я недавно как раз писала про «человека-оркестратора» и инженерную насмотренность: чтобы проверить работу ИИ, ты сам должен понимать, что именно проверять.

Но чем дальше всё развивается, тем интереснее становится следующий вопрос.

> А что будет, когда даже хороший специалист физически не сможет проверить всё, что сделал ИИ? Не потому что человек глупее.

Просто представьте: за час система выполняет объём работы, на проверку которого человеку нужно несколько дней.

И вот здесь разговор «заменит ли ИИ программистов» кажется мне уже довольно маленьким.

Мне намного интереснее другое: как мы будем контролировать системы, которым сами же отдаём всё больше работы? И где вообще проходит граница между «я использую очень мощный инструмент» и «я доверяю системе, работу которой уже не способен полностью проверить»?

У меня пока нет ответа.

Но интересно, как это видите вы. Через 5 лет ИИ всё ещё будет инструментом полностью под контролем человека? Или мы постепенно привыкнем доверять ему больше, чем способны проверить сами?