プログラマーはLLMが生成したアサーションの評価が苦手で過信しがち Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions

arXiv cs.SE · arxiv.org · 2026/07/13 13:00 · 4h ago

AI 2 点サマリ Summary highlight 原文で検証 Verify source

LLMが生成したテストアサーションをプログラマーが評価する際、正確性を過大評価しミスを見落としやすいことが実験で示された。
自動テスト生成の品質保証に人間のレビューだけでは不十分である可能性を示唆する。

A study found that programmers systematically overestimate the correctness of LLM-generated test assertions and miss significant errors, raising concerns about relying on human review as a quality gate for AI-generated tests.

#arxiv #assertions #human-study #llm #paper #software-quality #testing

SourcearXiv cs.SE 論文 Paper
直近30件の平均重要度 Avg importance, last 30 1=Info · 2=Medium · 3=High
Type論文
Importance 重要度 Medium Medium priority (Papers / Benchmarks 100件中、同等以上 52件) (52 of 100 Papers / Benchmarks entries are equal or higher)
Half-life 🏛️ 長期 (アーキテクチャ)
LangEN
Collected2026/07/13 14:24

元記事を読む

arxiv.org

本ページの要約は AI による自動生成です。正確性は元記事 (arxiv.org) をご確認ください。 The summary is AI-generated. Verify accuracy at the original source (arxiv.org).

🔬 Papers / Benchmarks の他の記事 もっと見る →

🔬 Papers / Benchmarks の他の記事もっと見る →