Claude Fable 5.1 — самая ХАЛЯЛЬНАЯ нейросеть. Исследователи из HalachaBench (это не шутка) провели безумный эксперимент:

— Десяткам разных нейронок дали пройти тест на раввина;

— В нём собрано 60 вопросов по религии, на которые нужно было ответить без доступа к интернету;

— Локальные модели провалились полностью: ни одна из них не смогла прыгнуть выше 11 баллов;

— Fable 5.1 доказал, что не гой и набрал 79,7 балла из 100;

— При этом проходной балл у людей на этом экзамене — 60, так что все топовые модели вполне себе претендуют на звание раввина.

Бенчмарки, которые мы заслужили.

@exploitex