На этой неделе я, как и многие, потестировала DeepSeek. Начала с локально установленной distilled версии. Первый вопрос, который я задала, был про качество математического образования во Франции. Спорили недавно о нем с друзьями, поэтому было интересно.

Тут ловлю себя на проявлении confirmation bias. Ответ модели мне понравился, потому что он в целом подтверждал мою точку зрения, что всегда приятно. Но на самом деле там есть к чему придраться и некоторые аргументы натянуты.

А вот дальше я попросила решить одну олимпиадную задачку по математике для младших классов средней школы. И тут DeepSeek  писал минут 15. Мне в какой-то момент было интересно, он сам остановится или надо будет как-то его искусственно прерывать. Если скопировать его ответ в Word, получается где-то 13 страниц. Он попробовал всевозможные подходы и, надо отметить, честно признавал, что ни один из них не работает. Но подходы все были при этом довольно похожими, и после нескольких попыток умный человек мог бы догадаться, что так эту крепость не взять. В конечном итоге DeepSeek сдался и пришел к выводу, что у задачи нет решения. При этом в целом не написал ерунды. Его цепочка размышлений была похожа на цепочку размышлений не очень способного, но старательного, энергичного и продуктивного школьника.

После некоторого ожидания мне удалось зарегистрироваться на chat.deepseek.com. Если не ошибаюсь, там ответы генерирует уже полная версия модели. Но она с задачей тоже не справилась.

Не справился и Gemini как в бесплатной, так и в платной версиях. Но при этом Gemini свой неправильный ответ пытался выдать за правильный. Одна из моделей Gemini выдала запутанный, наукообразный и при этом совсем неправильный ответ.

В общем, ничего удивительного. Компилируют модели хорошо, а именно "думают" пока не очень.

При этом размышления на уровне старательного школьника меня тоже впечатлили. В случае с DeepSeek выглядело так, как будто я общаюсь с собеседником, который по крайней мере очень хорошо понимает вопрос и недостатки своих вариантов решения.

Отдельно хочется отметить, что мне было сложно придумать вопрос, для ответа на который нужно было бы именно подумать. Не вспомнить, не проанализировать несколько точек зрения, не сделать обобщающий вывод, не применить последовательно пусть даже очень сложные инструкции, а подумать. Олимпиадная задачка оказалась первым и пока единственным примером, который пришел в голову.