В сетях Хопфилда - на пути к науке о данных
•Джон Хопфилд и Джеффри Хинтон получили Нобелевскую премию по физике за 2024 год за работу над сетями Хопфилда. •Сети Хопфилда используют энергетическую функцию для минимизации энергопотребления. •Сеть состоит из двух нейронов, каждый из которых может принимать значения 1 или -1. •Нейроны связаны положительными весами, что означает, что они стремятся к одинаковым состояниям. •Глобальные минимумы достигаются, когда оба нейрона имеют одинаковое значение. •Локальные минимумы достигаются путем перехода от высокоэнергетических состояний к низкоэнергетическим. •В примере на рисунке 1 все локальные минимумы глобальные. •В частном случае сети Хопфилда нейроны принимают значения 0 или 1, а веса могут быть либо 1, либо отрицательной бесконечностью. •Сеть имеет два локальных минимума: один глобальный, другой неглобальный. •Сети Хопфилда используются для хранения и извлечения ассоциативной памяти. •Локальные минимумы могут быть ложными воспоминаниями, что делает хранение несовершенным. •Сети также применяются для решения задач оптимизации, таких как поиск максимальной клики. •Отжиг в среднем поле использует непрерывные сети Хопфилда с изменяющейся температурой. •Это позволяет сети исследовать пространство состояний на ранней стадии и переходить к жадному поведению на поздней стадии. •В частном случае сети Хопфилда локальные минимумы соответствуют максимальным кликам графа. •Воспоминания хранятся как подмножества узлов графа, что может приводить к ложным воспоминаниям. •Для стабильного хранения воспоминаний используется кодирование двоичных векторов как множеств.
Этот пост подготовила нейросеть: сделала выжимку статьи и, возможно, даже перевела ее с английского. А бот опубликовал пост в Сетке.
