Глубокое погружение в LSTMS и xLSTMs
• LSTM - классическая рекуррентная нейронная сеть, используемая для обработки длинных контекстов в языковом моделировании. • LSTM позволяет сохранять и предсказывать историю, используя стробирующий механизм для определения, какую информацию следует запомнить, а какую забыть. • RNN не поддерживают чрезмерное погружение в прошлое, в отличие от LSTM. • xLSTM - усовершенствованная версия LSTM, решающая проблемы с обработкой длинных последовательностей и использованием параллелизма. • xLSTM включает экспоненциальное стробирование для обработки больших диапазонов и матричную память для параллельного поиска информации. • Возвращение к LSTMs может быть полезным для изучения и решения проблемы обработки длинных последовательностей. • Текущие результаты xLSTM выглядят многообещающими, и использование повторения Мамбой может быть прибыльным для исследования.
