プログラマーはLLMが生成したアサーションの評価が苦手で過信しがちProgrammers Are Poor and Overconfident Judges of LLM-Generated Assertions

arXiv cs.SE論文Paperarxiv.org公開Published2026/07/13 13:00 JST2mo ago重要度 MediumImportance Medium priority

AI2 点サマリSummary highlight

LLMが生成したテストアサーションをプログラマーが評価する際、正確性を過大評価しミスを見落としやすいことが実験で示された。
自動テスト生成の品質保証に人間のレビューだけでは不十分である可能性を示唆する。

A study found that programmers systematically overestimate the correctness of LLM-generated test assertions and miss significant errors, raising concerns about relying on human review as a quality gate for AI-generated tests.

本ページの要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).

記事情報・収集記録Article details & collection record

出典Source: arXiv cs.SE論文Paper
公開日時 (JST)Published (JST): 2026/07/13 13:00
収集日時 (JST)Collected (JST): 2026/07/13 14:24
配信形式Format: 論文Paper
原文言語Source language: EN
重要度の位置づけImportance in this lane: MediumMedium priority(arXiv 80件中、同等以上 80件)(80 of 80 arXiv entries are equal or higher)
出典の平均重要度（掲載直近 15 件・最大 30 件）Source average (last 15 listed, up to 30): 2.0 / 31=情報 · 2=中 · 3=高1=Info · 2=Medium · 3=High
情報の寿命Half-life: 長期 (アーキテクチャ)Long-term (architecture)

📄arXiv の他の記事More from arXivもっと見る →View more →