Cloudflare выложила разбор: модель GLM-5.3 в Workers AI с 27 августа по 9 сентября отдала 155 ответов с кусками чужих запросов.

Окно заявили в 1 048 576 токенов, а памяти под KV-кэш было на 681 280. Лишнее должен был отклонять SGLang, но из-за бага пропускал. Ну и модель дочитывала старые страницы памяти от других юзеров. Ответ при этом 200, всё красиво.

Задело только запросы длиннее 681 280 токенов. Тесты смотрели код ответа и скорость, текст никто не сверял. Вот это прям обидно.

Кто сам крутит SGLang, обновитесь до 0.5.22.