#software-engineering 6 total

AI要約 LLMエージェントの本番運用向けランタイム評価フレームワーク「RAMP」を提案。既存ベンチマークの限界を指摘し、実環境での継続的アセスメントを可能にする。

EN arXiv:2605.27492v1 Announce Type: new Abstract: LLM agents are rapidly evolving from coding assistants into autonomous software engineering systems. However, existing evaluation methodologies remain l

AI要約 LLMが複数のワーカーエージェントに処理を分散する際に生じるクロスセクション欠陥を検出する研究。設計上の「指紋」パターンと性能崖の存在を報告。

EN This paper investigates defect detection across the invisible orchestration layer of production LLM systems, identifying a universal performance cliff and a recurring design fingerprint in multi-agent architectures.

AI要約 リポジトリの実行環境構成を正しく行うベンチマーク SetupX を提案し、LLMエージェントが過去の失敗から学習できるかを検証した研究。

EN SetupX is a benchmark studying whether LLM agents can learn from past failures to correctly configure execution environments for code repositories.

AI要約 マルチエージェントシステムのワークフロー構造（エージェント・ツール・委譲パス等）を活用した新しいテスト手法を提案する研究論文。

EN A research paper proposing structural coverage criteria for testing multi-agent workflows, leveraging explicit structures such as agents, tools, access rules, and delegation paths.

AI要約 バグ修正などを行うエージェント型AIシステムの失敗原因を自動診断するフレームワーク「TrajAudit」を提案した研究論文。

EN TrajAudit is a proposed framework for automated failure diagnosis in agentic coding systems such as AI-driven bug fixers, helping explain why tasks go wrong.

AI要約 GWにCodex・Claude Code・GitHub Copilotを使って個人開発を試みた筆者が、エンジニアの存在意義をコーディングエージェント普及の観点から真剣に考察した記事。

EN A developer reflects on using Codex, Claude Code, and GitHub Copilot during a long holiday to build a community-based SNS, then seriously examines whether software engineers remain necessary in the age of coding agents.