В архитектуре MoE модель делится на "экспертов" — специализированные части, каждая из которых обучена на своей задаче. Отбором нужных экспертов занимается "проверяющая" модель: она решает, чьи ответы использовать, а кого игнорировать. Такой подход повышает точность и снижает затраты на обучение, поскольку каждая часть обучается отдельно.

MoE — это не диалог агентов, а эффективное распределение вычислений.