РАБОЧИЙ ПРОЦЕСС №3: СНАЧАЛА ФИЛЬТРАЦИЯ Как запустить агента для обработки миллионов строк, не превысив бюджет Источник: X.com/karpathy В минувшие выходные соучредитель OpenAI Андрей Карпати создал улучшенную ленту YouTube, используя 43 миллиона комментариев на Hacker News. Карпати, который присоединился к Anthropic в начале этого года, не просто загрузил все эти данные в модель. Вместо этого он сначала отфильтровал комментарии, используя сопоставление URL-адресов, регулярные выражения и базовые методы удаления спама. Только после этого он попросил Клода Сонне прочитать оставшиеся комментарии. Примерно через два часа у него был тщательно отобранный список из 6454 видеороликов, которые пользователи Hacker News постоянно рекомендуют. Этот же самый подход можно использовать для обработки любых больших логов или наборов данных.