Привет друзья! Всем markdown :)

Нашел полезный сервис для тех, кто много работает с LLM и документами. MarkItDown --> https://www.markitdown.de/en

Он переводит в Markdown файлы -- PDF, Word, Excel, PowerPoint, HTML. Конвертация идет online в браузере, так что файлы остаются у вас на компьютере. Сервис бесплатный, регистрация не нужна, лимит 25 МБ на файл.

Почему мне это показалось важным рассказать. Сейчас я собираю для работы с Claude базу знаний и загружаю туда много разных документов. Когда я начал разбираться, выяснилось, что от формата файла сильно зависит, сколько токенов уходит его обработку. • PDF -- LLM обрабатывает каждую страницу превращая в картинку и пропуская через vision, а текст достает отдельно. Получается, что за одну страницу вы сжигаете лимиты сразу за изображение и за текст, и в итоге это в разы дороже. На 180 страницах только чтение съедает огромное количество токенов, а модель к этому моменту еще ничего не сделала с содержимым. • Markdown -- это чистый текст, и LLM читает его сразу, без конвертации. Так выгоднее и снижает кол-во ошибок распознавания.

Теперь перед загрузкой жирного PDF или PPT сначала прогоняю через MarkItDown, а в базу знаний кладу уже Markdown файл.