Home›arXiv›Format Sensitivity Index:トークン制御プロンプトラッパーの堅牢性とLLMベンチマークにおけるスキーマ準拠

Format Sensitivity Index:トークン制御プロンプトラッパーの堅牢性とLLMベンチマークにおけるスキーマ準拠Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

元記事を読むRead original articlearxiv.org(新しいタブで開きます)(opens in a new tab)
AI要点サマリSummary highlight

LLMがプロンプトの書式変更に対してどれだけ出力を安定させられるかを定量化する「Format Sensitivity Index」を提案し、ベンチマーク評価の信頼性向上に貢献する研究。

This paper introduces the Format Sensitivity Index, a metric that quantifies how much LLM outputs shift under token-level prompt wrapper variations, highlighting reliability gaps in current benchmarking practices.

本ページの要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).

記事情報・収集記録Article details & collection record
出典Source
arXiv cs.AI論文Paper
公開日時 (JST)Published (JST)
収集日時 (JST)Collected (JST)
配信形式Format
論文Paper
原文言語Source language
EN
重要度の位置づけImportance in this lane
MediumMedium priority(arXiv 80件中、同等以上 80件)(80 of 80 arXiv entries are equal or higher)
出典の平均重要度(掲載直近 25 件・最大 30 件)Source average (last 25 listed, up to 30)
2.0 / 31=情報 · 2=中 · 3=高1=Info · 2=Medium · 3=High
情報の寿命Half-life
長期 (アーキテクチャ)Long-term (architecture)

📄arXiv の他の記事More from arXivもっと見る →View more →

ページ上部へScroll to top