И ещё.
Делал для работы, но решил выложить в опенсорс как открытую часть.
Когда у вас много микросервисов, которые используют API от AI-сервисов, это становится сложно поддерживать. А если у вас несколько провайдеров, то это совсем трудно.
Поэтому я написал роутер над роутерами. Он на первом скрине. Для любого сервиса внутри — это просто API, который можно попросить любую модель из любого роутера одной строкой.
Но опенсорс не в этом. Он чуть круче, я недели две назад думал тему, а её сделали. OpenRouter сделал Fusion, а я пошёл чуть дальше.
Идея — дать возможность строить пайплайн прямо по API, указывая, какие модели тебе нужны для работы и для оценки. Но пошёл чуть дальше, и мой пайплайн делает следующее. Вы указываете от 2 моделей рабочих и 1 модель-судью. Судья принимает промпт, готовит его под рабочих, отдаёт им асинхронно, получает ответ, вспоминает, что он там у них просил, и собирает ответ.
По времени — сильно дольше и сильно дороже, чем просто спросить одну, но зато результаты сильно лучше. Поэтому использовать это местами нужно.
Сделал как библиотеку для питона, но, очевидно, можно портировать куда угодно.
