EMO: 創発的モジュラリティのためのMoE事前学習手法 EMO: Pretraining mixture of experts for emergent modularity
AI要約 AllenAIが提案するEMOは、Mixture of Expertsモデルを事前学習する新手法で、創発的なモジュラリティを引き出すことを目的とする。専門家がタスクごとに自然に分化し、効率と解釈可能性を高める可能性がある。
EN EMO: Pretraining mixture of experts for emergent modularity