🤖🧮🍼

Прямо сейчас моя архитектура проходит обучение на tiny stories dataset.

Особенность заключается в избавлении от квадратичной сложности, тоесть она O(1)!!!

Чуть позже покажу вам результат: Validation BPC и Train Loss