Создатель не может объяснить свое создание. Или при чем тут нейросети?! Спросил у нейронки: а что, если одна нейросеть создаст другую, и человек уже не сможет понять, почему она работает именно так?

И пока она отвечала, я подумал, что изучать нейронки мы, скорее всего, будем так же, как космос. Смотреть, ставить опыты, проверять догадки и потихоньку разбираться.

Но космос появился без нас, а это мы сделали сами. Выбрали архитектуру, собрали данные, запустили обучение. Кажется, уж кто-кто, а мы должны понимать, что получилось.

Только знать, как модель обучали, и понимать, почему она ответила именно так, — это совсем не одно и то же. Код и веса можно открыть и все равно не понимать, почему получился конкретный ответ.

А дальше вопросы уже как в науке. Что будет, если задачу поставить по-другому? Где модель начинает ошибаться? Повторится ли результат? И наше объяснение правда описывает, что внутри, или просто красиво звучит?

Потом наткнулся на статью про Weight-Space Programming. Авторы описывают, как одна модель смотрит на веса другой и правит их напрямую. В одном эксперименте так получилось уменьшить зацикливание, и модель стала чаще доводить математические задачи до ответа. А вот исправить обычные ошибки в рассуждениях у другой модели таким способом не получилось.

Пока это единичные опыты. Но сама мысль зацепила: нейронка теперь еще и инструмент для изучения нейронок.

И, кажется, отсюда растут ноги у части апокалиптических прогнозов. Среди ИИ-армагеддонщиков есть люди, которые сами строили эту область, — тот же Хинтон. Но его тревога связана не просто с непониманием: он пересмотрел, насколько быстро цифровой интеллект может нас превзойти. При этом Лекун и Эндрю Ын оценивают такие риски гораздо скептичнее. Так что «мы не до конца понимаем, что создали» — еще не аргумент за конец света. Но я могу представить, почему от этой мысли становится неуютно.

Выходит забавно. Мы делаем штуку, которую до конца не понимаем. Потом берем другую нейронку, чтобы разобраться в первой. И еще отдельно проверяем, не врет ли она нам по дороге.

В моем сравнении с космосом появился телескоп. Правда, к нему тоже есть вопросы 🙂