#benchmark 32 total

AI要約 ラ・サール中学の入試算数問題を複数の最新ローカルLLMに解かせ、モデルごとの推論能力の差を比較検証した記事。期待に反し、モデル間で「驚きの知能差」が浮き彫りになったとされる。

EN A benchmark blog post testing multiple local LLMs on La Salle Junior High School entrance exam math problems, revealing surprising reasoning capability gaps among the compared models.

AI要約 AlibabaのQwen3.6-35B-A3BをM1 Pro 32GBのMacで実際に動かした検証レポート。35B総パラメータ・3Bアクティブのスパース MoEモデルながら、コンシューマー向けハードウェアでの実用性を率直に評価している。

EN A hands-on report on running Alibaba's Qwen3.6-35B-A3B sparse MoE model on an M1 Pro MacBook with 32GB of unified memory, offering an honest assessment of real-world usability on consumer hardware.

AI要約 大規模言語モデル（LLM）が間接推論・文化的知識・協調的仮説検証を必要とするクイズゲーム「What? Where? When?」でどこまで通用するかを検証した論文。LLMの現在の限界と、チーム構成による協調推論の可能性を探っている。

EN Researchers investigate whether teams of LLMs can tackle 'What? Where? When?', a trivia game demanding indirect reasoning and cultural knowledge, probing the cooperative reasoning limits of current large language models.

AI要約 量子コンピューティング向けプログラミング言語 OpenQASM-3 を題材に、LLM の理解・生成能力を訓練・評価するためのデータセット「QASM-Eval」が提案された。NISQ 時代の課題に対応し、量子回路の枠を超えた幅広いタスクをカバーする点が特徴とされる。

EN arXiv:2605.30358v1 Announce Type: new Abstract: Quantum computing remains in the Noisy Intermediate-Scale Quantum (NISQ) era, where the performance is highly constrained to noise. Addressing the limit

AI要約 arXiv論文「NumLeak」は、公開数値ベンチマークが事前学習データに混入することで、モデル評価が記憶の再現を測定している可能性を指摘する。日付条件付き評価を用いることで、真の汎化能力と暗記を区別する手法を提案している。

EN arXiv:2605.30393v1 Announce Type: new Abstract: Public numeric benchmarks appear in pretraining, so an evaluation that conditions on a date may be measuring memorized recall rather than out-of-sample

AI要約 LongDS-Benchは、現実のデータ分析が持つ反復的・長期的な性質を再現した新しいベンチマーク。既存の評価手法では捉えられなかったAIエージェントの弱点を体系的に明らかにする研究成果。

EN arXiv:2605.30434v1 Announce Type: new Abstract: Real-world data analysis is inherently iterative, yet existing benchmarks mostly evaluate isolated or short interactive tasks, leaving agents' ability t

AI要約 Qiitaに投稿された本記事は、Anthropicの最新モデルClaude Opus 4.8を解説。SWE-benchやGDPvalといった評価指標の意味から、Dynamic Workflowsの概念まで、図解を交えて体系的にまとめている。

EN A Qiita article provides a comprehensive illustrated breakdown of Claude Opus 4.8, covering key benchmarks like SWE-bench and GDPval alongside the Dynamic Workflows paradigm that defines the model's agentic capabilities.

AI要約 AnthropicのOpus 4.8発表を中心に、エージェントガバナンスとITベンチマーク「ITBench-AA」を取り上げた技術ダイジェスト。

EN A curated daily digest covering Anthropic's Opus 4.8 dynamic workflow capabilities, agent governance frameworks, and the ITBench-AA benchmark for IT automation agents.

AI要約 動的フレキシブルジョブショップスケジューリング問題(DFJSP)向けに、LLMエージェントの評価手法の方法論的課題を指摘するベンチマークを提案。

EN arXiv:2605.27566v1 Announce Type: new Abstract: Progress in neural combinatorial optimization for Dynamic Flexible Job Shop Scheduling Problem (DFJSP) is currently hindered by a methodological tension

AI要約 LLMエージェントの本番運用向けランタイム評価フレームワーク「RAMP」を提案。既存ベンチマークの限界を指摘し、実環境での継続的アセスメントを可能にする。

EN arXiv:2605.27492v1 Announce Type: new Abstract: LLM agents are rapidly evolving from coding assistants into autonomous software engineering systems. However, existing evaluation methodologies remain l

AI要約 iPhone実機でMLX・llama.cpp・LiteRT-LM・CoreMLの4ランタイムをベンチマークし、ローカルLLMの推論速度を比較検証した記事。

EN A hands-on benchmark comparing four on-device LLM runtimes—MLX, llama.cpp, LiteRT-LM, and CoreML—running on a physical iPhone to determine which delivers the fastest inference.

AI要約 放射線腫瘍学向けにLLMを活用した臨床要約・治験マッチングシステム「The Daily Dose」の設計と初期臨床評価を報告。

EN arXiv:2605.26346v1 Announce Type: new Abstract: Objective: To describe the design and early clinical evaluation of The Daily Dose (TDD), an LLM-driven, automated clinical summarization and clinical-tr

AI要約 AIエージェント向けベンチマーク生成時に生じるアーティファクトドリフトを軽減する手法「Anchor」を提案した研究論文。

EN Anchor is a proposed method to reduce artifact drift when generating benchmarks for AI agents tackling long-horizon enterprise tasks.

AI要約 LLMにおける「心の理論」を明示的な信念モデリングで評価する新ベンチマーク「OmniToM」を提案した研究論文。

EN OmniToM is a new benchmark for evaluating Theory of Mind in LLMs, moving beyond end-to-end tasks by requiring explicit belief modeling across knowledge, intentions, and emotions.

AI要約 職業AIエージェントを経済的価値だけでなく人間の意志との整合性で評価する新ベンチマーク「JobBench」を提案。

EN JobBench is a new benchmark for occupational AI agents that goes beyond economic replacement metrics to evaluate alignment with human will and intent.

AI要約 LLMエージェントがビジュアル仕様からWebアプリを生成する能力を評価するベンチマーク「VISTA」を提案。

EN VISTA is a new benchmark for evaluating LLM-based agents on end-to-end web-app generation from visual specifications.

AI要約 コードエージェントがリポジトリレベルのベンチマークで本当にコンテキストを理解しているか、摂動を加えて検証する研究。

EN RepoMirage probes whether code agents genuinely reason about repository context or exploit shortcuts, using controlled perturbations on repository-level benchmarks.

AI要約 リポジトリの実行環境構成を正しく行うベンチマーク SetupX を提案し、LLMエージェントが過去の失敗から学習できるかを検証した研究。

EN SetupX is a benchmark studying whether LLM agents can learn from past failures to correctly configure execution environments for code repositories.

AI要約 AIコーディングエージェントの出力の正しさを保証するため、仕様の自動形式化を評価するベンチマーク環境Verus-SpecGymを提案した研究論文。

EN Verus-SpecGym is a new agentic benchmark environment for evaluating how well AI agents can autoformalize software specifications, addressing correctness challenges in AI-generated code.

AI要約 マルチエージェントシステムのワークフロー構造（エージェント・ツール・委譲パス等）を活用した新しいテスト手法を提案する研究論文。

EN A research paper proposing structural coverage criteria for testing multi-agent workflows, leveraging explicit structures such as agents, tools, access rules, and delegation paths.

AI要約 Anthropicが2026年4月にリリースしたClaude Opus 4.7の1Mトークンコンテキストを、モノレポ全体を投入して実際の使い勝手を検証した実測レポート。

EN A hands-on benchmark feeding an entire monorepo into Claude Opus 4.7's 1M-token context window to evaluate whether the capacity is practically usable in real development workflows.

AI要約 同一の Pull Request を ChatGPT GPT-5 など 5 つの AI レビューツールに投入し、それぞれの検出精度や使い勝手を比較検証した記事。

EN A hands-on benchmark comparing five AI code-review tools on the same Pull Request, evaluating detection quality, usability, and practical trade-offs.

AI要約 Cursor が Composer 2.5 を出した時に最初に目を留めたのは benchmark の絶対値ではなく、 per-attempt cost の桁が 1 つ違うという事実でした。SWE-Bench Multilingual で A

AI要約 はじめに Raspberry Pi 5 で Claude Code・Codex CLI・GitHub Copilot CLI は本当に速くなるのか。前回分も含めた 630 回の試行で、速度とメモリ使用量の差を比べました。 結論は次の 3 つ

AI要約 Amazon Bedrockの新機能により、プロンプトの最適化や新モデルへの移行を評価フィードバックループを活用して迅速に実施できるようになった。

EN Amazon Bedrock Advanced Prompt Optimization enables customers to optimize their prompts for their current model or migrate prompts to new models faster than before with built-in evaluation feedback lo

AI要約 Hugging FaceがOpen ASR Leaderboardに非公開テストセットを導入し、ベンチマークの過剰最適化（benchmaxxing）を防ぐ仕組みを追加した。これによりモデルの真の汎化性能を測定でき、公開データへの過学習を見抜けるようになる。

EN Adding Benchmaxxer Repellant to the Open ASR Leaderboard

AI要約 TII (Technology Innovation Institute) がアラビア語LLM評価のための新リーダーボード「QIMMA」を公開した。品質を最優先に、文化的・言語的特性を反映したベンチマークでモデルを評価し、アラビア語圏での実用性を可視化する。

EN QIMMA قِمّة ⛰: A Quality-First Arabic LLM Leaderboard

AI要約 Hugging FaceがOpenEnvとTuringベンチマークを用いて、実環境でツールを活用するAIエージェントの能力を体系的に評価する手法を解説。

EN OpenEnv in Practice: Evaluating Tool-Using Agents in Real-World Environments

AI要約 H Companyが公開したHolo2-235B-A22BはUI要素の特定タスクで最高性能を達成し、GUIエージェント分野で前世代・競合モデルを上回った。

EN H Company's new Holo2 model takes the lead in UI Localization