Decoupled DiLoCo: 分散AI学習の新たな耐障害手法(新しいタブで開きます)Decoupled DiLoCo: A new frontier for resilient, distributed AI training(opens in a new tab)
AI要約Google DeepMindは分散学習手法DiLoCoを拡張した「DDiLoCo」を発表。通信と同期を切り離し、ノード障害や帯域制約下でも大規模モデルの学習を継続でき、より柔軟で耐障害性の高い分散訓練を実現する。
AI SUMMARYGoogle DeepMind unveiled Decoupled DiLoCo (DDiLoCo), which separates communication from synchronization so large-scale model training continues despite node failures or limited bandwidth, enabling flexible, resilient distributed AI training.