#evaluation 13 total

AI要約 arXiv論文「NumLeak」は、公開数値ベンチマークが事前学習データに混入することで、モデル評価が記憶の再現を測定している可能性を指摘する。日付条件付き評価を用いることで、真の汎化能力と暗記を区別する手法を提案している。

EN arXiv:2605.30393v1 Announce Type: new Abstract: Public numeric benchmarks appear in pretraining, so an evaluation that conditions on a date may be measuring memorized recall rather than out-of-sample

AI要約 LongDS-Benchは、現実のデータ分析が持つ反復的・長期的な性質を再現した新しいベンチマーク。既存の評価手法では捉えられなかったAIエージェントの弱点を体系的に明らかにする研究成果。

EN arXiv:2605.30434v1 Announce Type: new Abstract: Real-world data analysis is inherently iterative, yet existing benchmarks mostly evaluate isolated or short interactive tasks, leaving agents' ability t

AI要約 LLMエージェントの本番運用向けランタイム評価フレームワーク「RAMP」を提案。既存ベンチマークの限界を指摘し、実環境での継続的アセスメントを可能にする。

EN arXiv:2605.27492v1 Announce Type: new Abstract: LLM agents are rapidly evolving from coding assistants into autonomous software engineering systems. However, existing evaluation methodologies remain l

AI要約 AIエージェント向けベンチマーク生成時に生じるアーティファクトドリフトを軽減する手法「Anchor」を提案した研究論文。

EN Anchor is a proposed method to reduce artifact drift when generating benchmarks for AI agents tackling long-horizon enterprise tasks.

AI要約 コードエージェントがリポジトリレベルのベンチマークで本当にコンテキストを理解しているか、摂動を加えて検証する研究。

EN RepoMirage probes whether code agents genuinely reason about repository context or exploit shortcuts, using controlled perturbations on repository-level benchmarks.

AI要約 AIエージェントの本番運用で品質を維持するため、Anthropicの知見をもとにシンプルな設計パターンと評価手法を解説した実践的記事。

EN A practical guide drawing on Anthropic's insights to help teams design and evaluate AI agents using simple patterns rather than complex frameworks, addressing quality pitfalls in production.

AI要約 GitHubは、エージェント型AIの出力が非決定的である場合に、従来のテスト手法では品質保証が困難であることを指摘。LLM-as-a-judgeやシナリオベース評価、トレース分析など、確率的システムを継続的に検証するためのアプローチを紹介している。

EN How to build the “Trust Layer” for GitHub Copilot cloud agent without brittle scripts or black-box judgements by using dominatory analysis. The post Validating agentic behavior when “correct” isn’t de

AI要約 Hugging FaceがOpen ASR Leaderboardに非公開テストセットを導入し、ベンチマークの過剰最適化（benchmaxxing）を防ぐ仕組みを追加した。これによりモデルの真の汎化性能を測定でき、公開データへの過学習を見抜けるようになる。

EN Adding Benchmaxxer Repellant to the Open ASR Leaderboard

AI要約 Google が AI エージェントのプロトタイプを本番運用に耐えるシステムへ刷新した経験から得た 5 つの教訓を紹介。モノリス的な単一エージェントを専門化された複数エージェントに分割し、評価・観測性・状態管理を整備する重要性を説く。

EN Google shares five lessons learned from refactoring a monolithic AI agent prototype into a production-ready system, emphasizing decomposition into specialized sub-agents, robust evaluation, observability, and proper state management.

AI要約 ServiceNow AI が音声エージェント評価のための新フレームワーク EVA を発表した。会話品質や音声特性、タスク達成度を統合的に測定し、従来のテキストベース評価では捉えきれない実運用上の課題に対応することを目指す。

EN A New Framework for Evaluating Voice Agents (EVA)

AI要約 Google DeepMindは、汎用人工知能(AGI)への進捗を体系的に評価するための認知科学に基づくフレームワークを提案した。人間の知能の多様な側面を10領域に分類し、現行モデルの能力ギャップを可視化することで、研究の方向性と安全性議論の基盤を提供する狙いがある。

EN We’re introducing a framework to measure progress toward AGI, and launching a Kaggle hackathon to build the relevant evaluations.

AI要約 Hugging FaceがOpenEnvとTuringベンチマークを用いて、実環境でツールを活用するAIエージェントの能力を体系的に評価する手法を解説。

EN OpenEnv in Practice: Evaluating Tool-Using Agents in Real-World Environments

AI要約 Google DeepMindがLLMの事実性を体系的に評価するベンチマーク群「FACTS Benchmark Suite」を発表した。長文応答の事実性や根拠付けを測るFACTS Groundingに加え、新たな評価軸を追加し、モデルの幻覚問題を多角的に検証する枠組みを提供する。

EN Systematically evaluating the factuality of large language models with the FACTS Benchmark Suite.