А теперь немного о том, как устроена база — для тех, кому интересны эксперименты с ИИ 🙂
Началось всё с задачи «собирай мне отчёты в папочку». Дальше у папочки появились сайт, редактор и Telegram-бот.
Что потребовалось сделать: 1. Руками собрать список источников 2. Научить программу обходить сайты консультантов и находить новые отчёты 3. Настроить скачивание, хранение и извлечение текста из PDF 4. Сделать на сайте каталог с поиском и фильтрами 5. Настроить серверного ИИ-агента, который готовит разборы, и отдельного агента для их проверки. 6. Автоматически разобрать доступный архив за 2025–2026 годы, включая отчёты с итогами 2024-го. 7. Доработать тексты, оформление и обработку ошибок. 8. Подключить Telegram-бота: он готовит посты, показывает мне и публикует после подтверждения.
На проверку ушло много внимания. У цифры должны совпадать не только значение, но и период, территория, единица измерения и смысл показателя. Например, полугодовой объём сделок нельзя напрямую сравнивать с квартальным. Для этого понадобились отдельные правила и повторные проверки.
Сколько получилось Сам раздел собирался подходами с августа по октябрь. Потратил около 1,8 млрд токенов. Внушительно, но около 97% — повторно использованный контекст. Остальные входные токены и ответы составили примерно 61,5 млн.
По локальной истории набралось около 87 часов работы агентов, включая инструменты и ожидания, с учётом пересечения параллельных сеансов. Отдельно сервер выполнил 1 583 вызова модели общей длительностью 15,5 часа. Эти часы могли пересекаться с разработкой; Своё время я не замерял, но думаю что часов 16-20 потратил.
Работал через Codex с несколькими моделями: GPT-5.5, GPT-5.6 Sol, GPT-6 Astra, Sol и Luna. Последние доработки — GPT-6.1 Sol. Серверный агент сейчас работает на GPT-6 Sol, но на самом деле хватило бы и Luna.
Хочу еще добавить удобный доступ для ваших ИИ-агентов — чтобы они могли быстро находить исследования и нужные цифры. А потом небольшую страницу для сравнения прогнозов консультантов. Ставьте 🔥️️️️️️ если хотите такое.
Если пробовали анализировать много данных из открытых источников и собирать что-то похожее — расскажите, что получилось 🙂
