Постоянное обучение — Глубокое Погружение в Процесс Эластичного Снижения Веса
• Катастрофическое забывание - серьезная проблема при обучении искусственных нейронных сетей. • EWC - метод решения проблемы, предотвращающий забывание и сохраняющий знания о предыдущих задачах. • EWC основан на информационной матрице Фишера (FIM). • FIM определяет объем информации, содержащейся в данных о неизвестном параметре. • EWC помогает найти параметры, которые хорошо справляются с обеими задачами. • Метод EWC может быть реализован с использованием PyTorch. • Существуют и другие методы предотвращения забывания, такие как методы на основе воспроизведения, мета-обучение и выделение параметров.
