Коротко и по делу: слов на «Й» в русском языке просто очень мало — вот мы их и не помним. Разберём почему.

Во‑первых, таких слов немного, и почти все они — из других языков: йод (из немецкого), йог (из санскрита), йогурт (из турецкого), йена (из японского), географические названия вроде Йорк или Йемен.

Во‑вторых, в русском языке звук [й] обычно прячется в других буквах: Е, Ё, Ю, Я — особенно в начале слов: ёлка → звучит как [й’олка], юла → [й’ула], поёт → [пай’от].

В‑третьих, нам сложно их вспоминать: ~ редко встречаем — значит, мозг «не тренируется» их использовать; ~ нет удобных ассоциаций (для «А» легко: арбуз, апельсин, а для «Й» — почти ничего); ~ когда просят назвать слова на «Й», мозг быстро «застревает» — и это ещё сильнее мешает вспомнить что‑либо; ~ в голове обычно держатся всего пара самых частых слов (йод, йог, йогурт), а остальное вытесняется.

Что всё‑таки можно вспомнить: бытовые: йод, йогурт, йог; города и страны: Йошкар‑Ола, Йемен, Йорк; ещё: йена, йота («ни на йоту»). Итог: дело не в плохой памяти, а в том, что слов на «Й» мало, они редко попадаются и часто — не наши, а заимствованные. Поэтому и вылетают из головы.