Так получилось, что последние пару лет я зарабатываю на хлеб разметкой данных. Сфера, прямо скажем, обделённая вниманием (поищите посты в Сетке).    Про машинное обучение знаете? Слышали, что для него нужны какие-то «датасеты»? Вот. Их пока делают люди: сидят и решают простые задачи, чтобы потом передать машинам. Выделяют слова в диалогах, сравнивают, какое смузи красивее, оцифровывают рукописи, выделяют карнизы на фотках и т. д. Смотрели «Possessor»? Там в одном эпизоде как раз показан процесс, с, так скажем, художественными преувеличениями 🍆(кино же). И вокруг этих простых задач существует целая экосистема: платформы для разметки, ETL, хранилища, всякая малая и большая автоматизация и, конечно, LLM. Данных бизнесу нужно много, производство обходится в кругленькую сумму. Естественно, хочется сэкономить. И в нашем цеху есть большое поле для экспериментов. Подключая LLM к человечьей работе, я могу количественно оценить точность их ответов в разных задачах.    Так вот, из коробки, без файн-тюнинга, без RAG на задачах классификации текста лучшее, что удалось получить, — 95% точность в задачах с двумя классами. И то после многочасовой полировки промптов. На сложных задачах со 100+ классами — это 60–70%, если повезёт.    К чему я веду. Когда вам будут продавать очередного AI-агента, робо-разгребатора резюме, ИИ-передаста или какого другого болванчика с LLM под капотом, задумайтесь, сколько неправильных решений он будет принимать? Какова цена ошибки? Готовы ли вы из-за неправильных решений, например, отказать в обслуживании трети клиентов или отправить пятую часть резюме профессионалов в мусор? Заплатить за десяток яиц, где одно — тухлое? Может быть, отправите на нары человека, который на 60% похож на фоторобот? Сколько сил у вас займёт контроль качества? Выявление и решение проблем? Стоит ли того хайп и кажущаяся экономия?