Фреймворк Distilabel.

Мощный фреймворк Python для создания синтетических данных для AI и не только для этого

Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных; эти конвейеры могут содержать любое количество разных шагов.

Позволяет легко синтезировать  и оценивать данные с помощью встроенных инструментов. Отлчиный инструмент для улучшении данных и обучении моделей.

Процесс прост:

• Вводим запрос.
• Два LLM генерируют ответы -  LLM-судья оценивает полученные ответы
• Лучший ответ сопоставляется с изначальным вопросов.

И что самое интересное? Все это с открытым исходным кодом. Лицензия позволяет использовать результаты модели для улучшения других моделей.