📊 Ray Serve получил новый дэшборд для отладки
Anyscale выпустила обновлённый Grafana-дэшборд для Ray Serve, доступный с версии v2.54.
Дэшборд разделяет задержки по этапам: вход запроса, маршрутизация и выполнение. Визуализированы временные шкалы развёртываний, тепловые карты здоровья реплик, очереди на роутере и автоскейлинг. Появилась диагностика узких мест: например, можно точно определить, виновата ли задержка в очереди роутера или в медленной загрузке реплик. А панель «Целевое vs. фактическое количество реплик» помогает выявить, не блокирует ли масштабирование лимит max_replicas.
С Ray 2.55 появится переход из дэшборда в логи Anyscale с предустановленными фильтрами по времени и сервису.
