мы привыкли воспринимать ии как помощника, но есть одна проблема: у него нет собственного представления о том, что хорошо, а что плохо

для человека это часто очевидно, если я прошу тебя сделать интерфейс, который увеличит конверсию, ты понимаешь, что есть способы сделать это честно, а есть способы начать манипулировать пользователем

для ии оба варианта могут быть просто решениями задачи, если критерий звучит как « "получи максимальную конверсию", система будет оптимизировать конверсию

она не будет делать ни хороший пользовательский опыт, ни честное взаимодействие и даже не сделает так что бы не навредить пользователю

если мы это не определили, этого просто нет в задаче, и вот здесь появляется главная проблема ии продуктов

мы часто называем модель помощником, хотя на самом деле дали ей роль исполнителя, помощник должен понимать контекст. он должен уметь сказать: это можно сделать, но, кажется, мы сейчас жертвуем другой важной целью

он должен спросить, если решение зависит от того, что для нас важнее, он должен понимать границы своей агентности, а просто выполнить запрос, этого недостаточно

поэтому при проектировании ии продукта мне кажется важнее спрашивать не только: "что наш ии умеет?"

но и: что он считает хорошим результатом? что он должен считать плохим результатом? когда он должен остановиться? когда он обязан спросить человека?

потому что без этого ии не становится помощником, он становится очень быстрым инструментом оптимизации(не очень хорошим :) )