Decoupled DiLoCo: 分散AI学習の新たな耐障害手法 Decoupled DiLoCo: A new frontier for resilient, distributed AI training
AI要約 Google DeepMindは分散学習手法DiLoCoを拡張した「Decoupled DiLoCo (DDiLoCo)」を発表。通信と同期を切り離すことで、ノード障害や帯域制約下でも大規模モデル学習を継続可能にし、より柔軟で耐障害性の高い分散AI訓練を実現する。
EN Decoupled DiLoCo: A new frontier for resilient, distributed AI training