LLMを用いた静的解析アラートの判定とエラー低減技術Using LLMs to Adjudicate Static-Analysis Alerts with Error Reduction Techniques
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
- 本論文は、静的解析ツールが生成する大量の誤検知アラートをLLMで自動判定し、エラー低減技術を組み合わせることで精度を高める手法を提案している。
- 開発者の負担軽減とセキュリティ品質向上に貢献する研究成果である。
This paper proposes using LLMs to automatically triage static-analysis alerts—distinguishing true bugs from false positives—while applying error reduction techniques to improve adjudication accuracy and reduce developer burden.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
静的解析アラート
静的解析で生成される多数のアラートをLLMで判定し、誤りを抑える手法が提案された。分析担当者が確認できる量を上回るアラートへの対処を自動化し、開発者の負担軽減とセキュリティ品質の向上につなげる研究である。
静的解析は、ソースコードに含まれるセキュリティ上の弱点を展開前に見つけるために広く用いられている。一方で、確認対象となるアラートが非常に多くなり得ることが課題とされる。
LLMによる判定
LLMの役割は、個々の静的解析アラートを実際のバグか誤検知かに分類することだ。ただし、単に一度の出力を採用するのではなく、複数回の実行結果を利用する二つのエラー低減技術を組み合わせ、判定精度を高める構成となっている。
一貫性チェック
一つ目は、一貫性チェック（CC）である。同じアラートに対してLLMを複数回実行し、それぞれの判定が互いに一致しているかを確認する。複数の結果を照合することで、一回ごとの出力の違いを捉え、判定時の誤りを抑える方法として位置付けられている。
LLM推論評価
二つ目は、LLM推論評価（LRE）である。LLMを複数回実行した後、各実行で示された推論をLLM自身に評価させ、その内容を踏まえて最終的な判定を選ばせる。CCが判定結果同士の整合性を確かめるのに対し、LREは各結果に至った推論を評価対象に含める点が異なる。これらを用いて、真のバグと誤検知を振り分ける際のエラー低減を図る。
Static-Analysis Alerts
The paper examines whether large language models can adjudicate alerts produced by static analysis, classifying each one as a real bug or a false alarm. This matters because static analysis is widely used to find security weaknesses in source code before deployment, yet it can produce far more alerts than analysts can review.
The proposed approach uses LLMs to automate this triage process. Its purpose is to distinguish true bugs from false positives while reducing the burden placed on developers and analysts. The research also combines LLM-based adjudication with techniques intended to reduce errors and improve classification accuracy.
Consistency Check
The first mistake-mitigation method is a consistency check, or CC. Under this method, the LLM is run multiple times on a static-analysis alert. The verdicts from those runs are then checked to determine whether they are consistent with one another.
Rather than relying on a single LLM response, the consistency check uses repeated runs as part of the adjudication process. The paper studies this method as one way to limit mistakes when automatically classifying alerts.
LLM Reasoning Evaluation
The second method is LLM reasoning evaluation, or LRE. As with the consistency check, the LLM is run multiple times. In this case, however, each run provides reasoning, and the LLM is subsequently asked to evaluate the reasoning from the different runs before choosing a verdict.
This adds an evaluation step beyond simply comparing whether repeated verdicts agree. The final classification is selected after considering the reasoning produced during the multiple runs.
Error Reduction Techniques
Together, CC and LRE are presented as error reduction techniques for LLM-based adjudication of static-analysis alerts. The paper studies how well LLMs perform this classification task when these mistake-mitigation methods are applied.
The broader goal is to make automated triage more accurate, reduce the volume of alerts requiring manual review, and lessen developer burden while supporting the use of static analysis to identify security weaknesses before deployment.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoアラート判定で、LLMを何度も動かすのはなんで？ 1回の答えだけじゃだめなのかな。Why run the LLM several times to judge an alert? Is one answer not enough?
- TECHガイドTECH Guideこの記事では、判定の一致を確かめるCCと、各回の推論を評価して結論を選ぶLREで、間違いを減らそうとしているよ。The paper uses CC to check whether repeated verdicts agree, and LRE to evaluate each run’s reasoning before choosing a verdict. Both aim to reduce mistakes.
- ポコPokoじゃあ、大量の警告を見きれない開発者が、本当のバグらしいものに向き合いやすくなるの？So could this help developers facing too many alerts focus on the ones that look like real bugs?
- TECHガイドTECH Guideそう期待される手法だね。誤検知を自動で仕分け、開発者の負担を減らしながら、セキュリティ品質の向上に貢献する狙いだよ。That’s the goal. Automatically sorting false positives could ease developers’ review burden and contribute to better security quality.
- ポコPokoLLMに一発で決めさせず、答えの一致や推論を確かめて、警告の仕分けを助けるんだね。Got it—the LLM doesn’t decide in one shot. It checks agreement or reviews the reasoning to help sort alerts.
- TECHガイドTECH Guideうん。CCもLREもLLMを複数回動かす設計で、実際のバグか誤警報かを判定する際の間違いを減らす工夫だよ。Right. Both CC and LRE run the LLM multiple times; they’re designed to reduce errors when classifying an alert as a real bug or a false alarm.
