#distributed-training 3 total

AI要約 OpenAIは大規模AI学習向けの新ネットワーク技術MRC(Multipath Reliable Connection)を公開した。複数経路を活用し信頼性とスループットを高め、スーパーコンピュータ規模のGPUクラスタを効率的に接続する仕組みで、学習基盤のスケーラビリティ向上に寄与する。

EN OpenAI introduces MRC (Multipath Reliable Connection), a new supercomputer networking protocol released via OCP to improve resilience and performance in large-scale AI training clusters.

AI要約 Google DeepMindは分散学習手法DiLoCoを拡張した「DDiLoCo」を発表。通信と同期を切り離し、ノード障害や帯域制約下でも大規模モデルの学習を継続でき、より柔軟で耐障害性の高い分散訓練を実現する。

EN Google DeepMind unveiled Decoupled DiLoCo (DDiLoCo), which separates communication from synchronization so large-scale model training continues despite node failures or limited bandwidth, enabling flexible, resilient distributed AI training.

AI要約 Hugging Faceが紹介したUlysses Sequence Parallelismは長文脈LLM学習向けの並列化手法で、アテンションヘッドをGPU間で分割して通信量を抑え、100万トークン級の文脈長での訓練を現実的にする。

EN Ulysses Sequence Parallelism splits attention heads across GPUs to cut communication overhead, making it practical to train LLMs with million-token contexts in distributed setups.