#llm-training 7 total

AI要約 Amazon SageMaker AI上でNVIDIA Blackwell GPUの性能を最大限に引き出すトレーニングジョブの設定方法を解説し、バッチサイズやシーケンス長の最適化で大規模モデルの学習を効率化する手法を紹介している。

EN This post explains how to configure training jobs on Amazon SageMaker AI to maximize NVIDIA Blackwell GPU performance, offering guidance on selecting batch sizes and sequence lengths for efficient large-model training.

AI要約 GitHubがCC0-1.0ライセンスのリポジトリレベルのオープンデータセットを公開した。README・Issue・PRにわたる多言語の開発者コンテンツを含み、研究者や開発者が多言語AIモデルの学習やNLP研究に活用できる。

EN GitHub released a new CC0-1.0 licensed repository-level dataset of multilingual developer content from READMEs, issues, and pull requests, helping researchers and developers train multilingual AI models.

AI要約 VeriGateは、GRPOの結果報酬が持つ粗さを補うため、検証器でゲーティングしたステップレベルの監督信号を導入する手法。各推論ステップへ細かい報酬を与えることで、推論モデルの学習効率と精度の向上を目指している。

EN VeriGate augments GRPO with verifier-gated step-level supervision to offset the coarseness of outcome-only rewards, aiming to improve the training efficiency and accuracy of reasoning models.

AI要約 ServiceNow AIがvLLMをV0からV1に移行した際の強化学習トレーニングで生じた数値的不一致と再現性問題を検証。ロジット計算やバッチ処理の正確性を確認してから修正に進む重要性を示した。

EN ServiceNow AI examined numerical discrepancies and reproducibility issues that arose when migrating vLLM from V0 to V1 for RL training, stressing the need to verify logit and batching correctness before applying corrections.

AI要約 Hugging Faceが16のオープンソース強化学習ライブラリを比較し、LLM向けRL訓練の非同期化やトークン生成効率化の課題を整理。学習と推論の分離やオフポリシー対応でスループットを高める設計パターンを解説する。

EN Hugging Face surveys 16 open-source RL libraries, mapping out how each tackles async training, throughput, and off-policy support to keep tokens flowing. It distills design patterns for separating training and inference in LLM RL workflows.

AI要約 ServiceNow AI が合成データ生成パイプラインをグラフベースのノードエディタで視覚的に構築できるツール「SyGra Studio」を公開。コードを書かずにデータ生成ワークフローを設計・実行でき、合成データ作成の敷居を下げる。

EN ServiceNow AI launched SyGra Studio, a visual graph-based node editor for building synthetic data generation pipelines, letting users design and run data workflows without writing code.