Насколько можно доверять нейросетевому анализу судебной практики? Я решил перепроверить результаты собственного исследования — и не поверил своим глазам.

Первоначально модель нашла 41 акт с переквалификацией договора. При повторном анализе — уже 84. Из первоначальной подборки подтвердились только 16.

Модель принимала доводы сторон за выводы суда, домысливала позицию первой инстанции и продолжала использовать прежние ошибочные материалы.

На Закон.ру разбираю эти ошибки и показываю, что пришлось изменить в постановке задачи: изучать акты небольшими группами, требовать подтверждающие цитаты и сверять результаты с первоисточниками. Привожу последовательность работы и примеры промптов.

Возможность возвращаться к сотням актов с новыми вопросами оказалась очень полезной. Но правовые выводы остаются за исследователем.