Модель давала согласованные ответы. Приложение для проверки соответствия требованиям — нет.
Собственное приложение CTGT для проверки соответствия требованиям выдало четыре различных набора обязательств на основе одного и того же банковского документа, даже когда повторные запросы к модели давали идентичные ответы. Новый инструмент Concordance с открытым исходным кодом отслеживает, где эти результаты расходились.