Говорят - заставь дурака Богу молиться, он лоб расшибет. Смысл в том, что какой бы замечательный во всех смыслах ни был инструмент, попади он в руки известной категории людей, ничего хорошего с того не выйдет, а плохого- очень даже вероятно, причем для той же самой категории.

Поговорка в очередной раз обрела свою, так сказать, фактурность, с появлением нейросетей. Нейросети - замечательный инструмент, который вполне прилично может писать болванки претензий, писем, некоторых ходатайств, и пр. с их обязательной последующей доработкой человеком (иногда-полной переработкой), который разбирается в обстоятельствах дела и их правовой интерпретации. Это экономит время для специалиста, который понимает что, зачем и почему он делает, может адекватно оценить результат и вовремя его поправить.

ИИное дело-нейросеть в руках дурака.В руках дурака нейросеть начинает выдавать дьявольски коварные вещи: ссылки на несуществующие законы, ссылки на существующие законы, но не имеющие отношения к ситуации, цитаты из судебной практики из параллельной реальности, где судьи-законченные шизофреники, чудом сбежавшие их психбольницы и укрывшиеся в залах правосудия. Начинает писать вредоносные письма, претензии и ходайства, на взгляд человека, не привыкшего верифицировать информацию-вполне настоящие: как в грустном анекдоте про поддельные елочные игрушки, которые выглядят, как настоящие, но совсем не приносят радость.

Проблема тут не в том, что дурак не разбирается в юриспруденции, а в том, что дурак слепо доверяет всему, что он не понимает, но что выглядит компетентно и технологично: т.е. у него отсутствует самотытность и критичность мышления. Например: я не стану доверять нейросети в медицинских вопросах, потому что я не медик, и не способен оценить ответ нейросети с точки зрения образования и релевантного опыта, а вот дурак доверится ответу нейросети именно потому, что не способен оценить.

Но в целом, есть и положительная тенденция: иногда пользователь начинает понимать, что технологичность технологичностью, а результата все же хочется и обращается к профильным специалистам. Если еще не поздно, конечно. Поэтому я в целом против каких-либо ограничений в в нейросетях: так завелось, что человек учится на ошибках, и если не дать людям ошибаться, есть риск, что дураки так ими и останутся.