Кошерный Claude

Видела редакция канала «Лобушкин» разные исследования, но вот проверку на кошерность мы не видели. Есть исследователи из HalachaBench, и они решили провести подобный эксперимент.

Десяткам ИИ-шек дали пройти тест на раввина. В нём 60 вопросов по религии, на которые необходимо ответить без доступа к интернету. Почти все модели провалились, не набрав больше 11 баллов.

Однако была и кошерная звёздочка от Anthropic — Claude Fable 5.1, которая набрала 79 баллов из 100. Проходной балл — 60, поэтому именно этот ИИ вполне может стать раввином.

@lobushkin