Как я заставил ИИ размечать записи блога длиной в 20 лет 🤖📜
Представь: Блог ведется более 20 лет, каждый день, с 2005 года. Сотни HTML-файлов, тысячи записей - настоящий дневник!
На выходных я взялся за настрйку навигации в этом блоге . Главный челлендж — тегированиезаписей. Тут я нашел самое интересное.
Попытка №1: Тегирование «в лоб» Схема простая: берем пост, кидаем его в LLM со списком тегов и просим разметить. Результат? Модель видит только один изолированный текст. Для неё запись про ремонт трактора — это просто факт «трактор». Она не знает, что месяц назад был пост про покупку запчастей к нему, а через неделю будет история про то, как этот трактор спас урожай. 📉 Модель тегирует факт, но полностью теряет сюжет. Для новостной ленты это ок, для 20-летнего дневника — провал. Контекст длинной истории рассыпается. Попытка №2: «Облако тегов историй» (вот где магия) Чтобы ИИ понял нарратив, ему нужно сначала показать всю картину. План такой: • Выгружаю посты по годам в файлы (2005.md, 2006.md и так далее). • Прошу GigaChat (спасибо developers.sber.ru и лимиту Ultra на 50 млн подаренных токенов!) проанализировать каждый год и выделить сквозные сюжеты. • Получаю новые теги: не «трактор», а «Эпопея с трактором "Беларусь"»; не «коты», а «Сага о лечении Василия». • Добавляю их в общий список и запускаю разметку заново. • В будущем для таких меток в WordPress появится отдельная таксономия — «Истории» и соответствующие элементы оформления.
💡 Главный вывод: работа с большими архивами требует от ИИ не поиска ключевых слов, а понимания связей.
Кстати, если вам стало дико интересно, каким проектом можно гореть 20 лет — заходите на обновленный сайт: http://goldenhill.ru/wp
А теперь вопрос к залу! 👇 Как бы вы структурировали такой гигантский архив? Может, у вас есть идеи круче моего «облака историй»? Кидайте мысли в комменты, буду рад любой обратной связи в статье! https://iostech.ru/подходы-к-тегированию-большого-объем/👇
