Ну что сказать, тест на переобучение пройден! Val BPB 1.4 на нищенском датасете без токенизаторов, на enwiki8. На первом этапе, А это значит сама архитектура вполне норм, и придется потратить время на обучение и датасеты. В целом доволен так как сборка и фичи свои. И можно довооружить ее уже готовыми решениями 😉