Всем привет, сегодня активно работаю параллельно с несколькими проектами, включая тестирование и отладку SpecaFlow. Выполнил профилактические работы на рабочем сервере и вновь заметил интересное явление, которое повторяется периодически от случая к случаю.

Открытые модели сегодня прекрасно мыслят в глубину и пишут идеальный чистые код на коротких дистанциях, но русский язык им даётся не всегда легко

Склонения и падежи в великом и могучем - оказались для ИИ сложнее чем построить архитектуру целого продукта. В отчете я заметил слово “осталосьых”, читая контекст я догадался что имеется в виду “оставшихся”, но куда интереснее в этом то, почему и как модель придумала это слово. По законам генерации текстов модель работает с так называемым FlashAttention, фокусом внимания, эта технология помогает быстро находить близкие по смыслу и по расположению в сетке токены. Когда модель не нашла в словаре правильное русское слово “оставшихся” она попыталась получить его по законам русского языка, склеив слово “осталось”, из моего запроса к ней, с окончанием “…ых”, которое чаще всего используется в формировании склонения причастий.

Так что если вы сегодня без труда способны правильно использовать склонения, то вы уже умнее многих сложных нейросетей )