#reproducibility 5 total

AI要約 オープンソース実装であるOpenMythosが、Fable 5およびMythos 5の動作や性能をどの程度忠実に再現できるかを実験的に検証した記事。再現精度の限界と課題を明らかにすることで、商用AIモデルのオープンソース複製可能性という問いに迫っている。

EN This article empirically examines how accurately OpenMythos reproduces the behavior and capabilities of Fable 5 / Mythos 5, identifying performance gaps and reproduction limitations. The findings shed light on the broader challenge of faithfully replicating proprietary AI systems through open-source efforts.

AI要約 LLMエージェントが研究成果物をゼロから動作させる能力を評価するベンチマーク「DeployBench」を提案。既存のSE・ML研究ベンチマークが見落としていた環境構築能力を測定する。

EN DeployBench benchmarks LLM agents on deploying research artifacts from scratch, addressing a gap where prior SE and ML benchmarks assume pre-configured working environments.

AI要約 Google の Gemma 4 31B-IT が主張する MMLU-Pro 約 85.2% を NVIDIA B200 上で lm_eval を使って手元再現する手順を詳解した実践ガイド。

EN A step-by-step guide on reproducing Google Gemma 4 31B-IT's claimed ~85.2% MMLU-Pro score on NVIDIA B200 hardware using lm_eval, covering practical pitfalls beyond a single command.

AI要約 ServiceNow AIがvLLMをV0からV1に移行した際の強化学習トレーニングで生じた数値的不一致と再現性問題を検証。ロジット計算やバッチ処理の正確性を確認してから修正に進む重要性を示した。

EN ServiceNow AI examined numerical discrepancies and reproducibility issues that arose when migrating vLLM from V0 to V1 for RL training, stressing the need to verify logit and batching correctness before applying corrections.

AI要約 Hugging Faceがコミュニティ主導のLLM評価プラットフォーム「Community Evals」を発表。不透明なリーダーボードに依存せず、透明性と再現性を備えたオープンな評価エコシステムの構築を目指す。

EN Hugging Face launched Community Evals, a community-driven LLM evaluation platform that prioritizes transparency and reproducibility as an open alternative to opaque black-box leaderboards.