AI要約 Hugging Faceがブログで紹介したUlysses Sequence Parallelismは、長文脈LLM学習向けの並列化手法。アテンションヘッドをGPU間で分割することで通信量を抑え、100万トークン級の文脈長での訓練を現実的にする。

EN Ulysses Sequence Parallelism: Training with Million-Token Contexts