paper research 2w ago · 
arxiv-cs-lg
NumLeak: 公開数値ベンチマークが基盤モデルの潜在ラベルになる問題 NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models
重要度 Medium Medium priority 重要度 Medium · 論文/研究 · Papers / Benchmarks Medium priority · paper/research · Papers / Benchmarks 公開 6月1日 Published Jun 1
AI要約 arXiv論文「NumLeak」は、公開数値ベンチマークが事前学習データに混入することで、モデル評価が記憶の再現を測定している可能性を指摘する。日付条件付き評価を用いることで、真の汎化能力と暗記を区別する手法を提案している。
EN arXiv:2605.30393v1 Announce Type: new Abstract: Public numeric benchmarks appear in pretraining, so an evaluation that conditions on a date may be measuring memorized recall rather than out-of-sample
fallback