#llm-evaluation 4 total

AI要約 大規模言語モデル（LLM）が間接推論・文化的知識・協調的仮説検証を必要とするクイズゲーム「What? Where? When?」でどこまで通用するかを検証した論文。LLMの現在の限界と、チーム構成による協調推論の可能性を探っている。

EN Researchers investigate whether teams of LLMs can tackle 'What? Where? When?', a trivia game demanding indirect reasoning and cultural knowledge, probing the cooperative reasoning limits of current large language models.

AI要約 量子コンピューティング向けプログラミング言語 OpenQASM-3 を題材に、LLM の理解・生成能力を訓練・評価するためのデータセット「QASM-Eval」が提案された。NISQ 時代の課題に対応し、量子回路の枠を超えた幅広いタスクをカバーする点が特徴とされる。

EN arXiv:2605.30358v1 Announce Type: new Abstract: Quantum computing remains in the Noisy Intermediate-Scale Quantum (NISQ) era, where the performance is highly constrained to noise. Addressing the limit

AI要約 LLMにおける「心の理論」を明示的な信念モデリングで評価する新ベンチマーク「OmniToM」を提案した研究論文。

EN OmniToM is a new benchmark for evaluating Theory of Mind in LLMs, moving beyond end-to-end tasks by requiring explicit belief modeling across knowledge, intentions, and emotions.

AI要約 Hugging Faceがコミュニティ主導のLLM評価プラットフォーム「Community Evals」を発表。透明性と再現性を重視したオープンな評価エコシステムを目指す。

EN Community Evals: Because we're done trusting black-box leaderboards over the community