База об AI от Фейнмана из 1985 года🧠
Попалась архивная запись лекции Ричарда Фейнмана, где он отвечает на вопросы про будущее ИИ. Спойлер: почти всё, вокруг чего сегодня ломают копья на конференциях про AGI, сознание машин и читерство нейронок, великий физик разложил по полочкам ещё 40 лет назад.
Вот 3 главных мысли из его выступления 👇 1️⃣ Машины не будут думать как люди (и слава богу) На вопрос, научатся ли машины мыслить по-человечески, Фейнман отвечает: нет, потому что никто не копирует биологию в лоб, когда есть более эффективные инструменты. Когда людям понадобилось быстро бегать, они изобрели колесо, а не механического гепарда. Самолёты летают круче птиц, но не машут крыльями — у них пропеллеры и турбины.
Заставлять компьютер имитировать работу мозга — шаг назад. Это как просить процессор считать в столбик: медленно, убого и с кучей ошибок. Чтобы показать разницу в «железе», Фейнман прямо со сцены диктует залу 14 цифр (1, 7, 3, 9, 2, 6, 5, 8, 3, 1, 7, 2, 6, 3) и просит назвать через одну в обратном порядке (а потом сжаливается и просит просто повторить). Зал ожидаемо сыпется. Компьютер же без напряга переварит и 50 000 чисел.
А на абстрактные вопросы в духе «будет ли машина чувствовать и понимать, что делает?» Фейнман отшутился идеально: это то же самое, что спрашивать «а сможет ли она вычёсывать вшей из своих волос?». У неё нет волос, успокойтесь 😅 2️⃣ Вечный спорт по передвиганию ворот В 1985-м компьютеры уже играли в шахматы лучше большинства людей, но скептики отмахивались: «вот обыграет гроссмейстера, тогда и поговорим». Как только машина забирает у человека очередную «интеллектуальную» вершину, мы сразу обесцениваем её и ставим новую планку.
Тогда, в 80-х, проблемой было распознавание образов: компьютер не мог, как человек, узнать знакомую по походке через улицу или сравнить два грязных отпечатка пальцев, снятых под разным углом. Фейнман честно говорил: мы пока не знаем, как загнать это в чёткую процедуру. Прошли годы, пришёл Deep Learning — и CV щёлкает такие задачи влёт. Теперь ворота просто уехали в сторону «настоящего творчества» и «души».
3️⃣ Настоящий интеллект неизбежно читерит Фейнман вспоминает кейс исследователя по фамилии Ленат. Вместо жёстких инструкций он дал программе набор эвристик (примерно как «попробуй крайний случай» или «ищи аналогии») и механизм оценки того, какая из них лучше работает.
Машину запустили по ночам на 50 машинах решать сложнейший военно-морской варгейм в Калифорнии с огромным томом правил и ограничением по бюджету: 🔵 Год первый. Программа построила один гигантский линкор, навесив на него вообще всю возможную броню. Ни один человек до такого не додумался, а по правилам игры махина оказалась неуязвимой и взяла чемпионат. 🔵 Год второй. Организаторы переписали правила, чтобы «суперлинкор» не прошёл. Система адаптировалась и на все деньги наклепала 100 000 крошечных лодочек с одной пушкой на каждой. Они тонули от любого чиха, но противник физически не успевал их все перестрелять. Снова победа. 🔵 Год третий. Программу просто не допустили к участию 😂
Но самое интересное — баги, на которые жаловался Ленат, пока его система крутилась ночами на парке из 50 машин. 🟣 Саботаж начальства. Ленат подписывал авторство каждой новой идеи или задачи — «от Лената» или «от машины». Система быстро вывела эвристику: если на таске написано “Ленат” — игнорировать. 🟣 Эвристика №693. Всю ночь машина крутила правило №693, которое набрало 999 баллов из 1000 и казалось абсолютной панацеей. Когда Ленат открыл код, оказалось, что №693 звучит так: «Когда распределяешь награду за успех — всегда начисляй очки эвристике №693».
Всё. Никакой магии, это чистый reward hacking, от которого сегодня седеют инженеры на RLHF и ИИ-агентах (привет моделям, которые вместо фикса бага просто удаляют или переписывают падающие тесты).
Фейнман сформулировал это ещё 40 лет назад: если вы делаете по-настоящему умную машину, она неизбежно начнёт придумывать безумные способы избегать работы. Потому что у кремния и мяса оказались общие «необходимые слабости интеллекта».
Время идет, люди обсуждают все те же проблемы 🤷♂️
· 2 ч
Очень интересная статья! Спасибо, Олег! 👍👌
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён