Research15 total

AI要約IBM ResearchがScarfBenchを公開。AIエージェントがエンタープライズJavaのフレームワーク移行タスクをどれだけ自律的にこなせるかを評価するベンチマークで、実務での活用可能性を測る基準を提供する。

AI SUMMARYIBM Research introduced ScarfBench, a benchmark designed to evaluate AI agents on real-world enterprise Java framework migration tasks, providing a standardized way to measure how effectively models handle complex legacy modernization work.

AI要約AIリサーチエージェントが機密情報をモザイク的に漏洩させるリスク「MosaicLeaks」を検証した研究で、ローカルLLMを用いたエージェント設計における情報セキュリティの重要性を示している。

AI SUMMARYThis research introduces MosaicLeaks, a study examining how AI research agents can inadvertently leak sensitive information through aggregated outputs, highlighting critical security considerations for agent design using open models.

AI要約HuggingFaceがLoRAと競合する各種PEFTアルゴリズムを比較検証し、タスクや制約に応じた最適な手法の選び方を解説している。LoRA一択ではなく用途次第でより優れた選択肢が存在することを示す点で重要。

AI SUMMARYHugging Face explores PEFT methods that rival or surpass LoRA, benchmarking alternatives across tasks to help practitioners choose the best fine-tuning approach for their specific constraints.

AI要約オープンLLMのエージェント性能を自社ツール環境で評価するベンチマーク手法を解説し、モデル選定の実践的指針を提供する。

AI SUMMARYThis article presents a practical framework for benchmarking open LLMs on agentic tasks using custom tooling, helping developers choose the right model for real-world agent workflows.

AI要約AIトークン消費量を社内リーダーボードで競わせる「tokenmaxxing」がAI導入促進策として広がるなか、DORAの調査はこの数値偏重がグッドハートの法則に陥り生産性指標を歪めると警告し、質と量のバランスの重要性を訴えている。

AI SUMMARYDORA warns that "tokenmaxxing"—rewarding raw AI token consumption via internal leaderboards to spur adoption—can become a vanity metric that distorts real productivity, urging teams to balance quantity with quality.

AI要約DORAは、AIがコード生成を加速し初期摩擦を減らす一方で、検証負担やスキル低下、統合の難しさという隠れたコストを生むと指摘。単なる導入から効果的活用へ移るには、生産性と品質、信頼と検証のバランスが鍵だと論じる。

AI SUMMARYDORA argues that while AI speeds initial code generation, it adds hidden taxes like verification overhead, skill degradation, and integration challenges, so leaders must balance productivity with quality to shift from adoption to effective SDLC use.

AI要約DORAがUCバークレー校の学生と行った調査をもとに、AIツールへの過度な依存リスクを指摘し、ガードレール設定やスキル維持、批判的検証を通じて生産性と長期的な専門性を両立する方法を解説する。

AI SUMMARYDORA's research with UC Berkeley students examines the risk of over-relying on AI coding tools and shows how developers set guardrails, retain skills, and apply critical verification to balance productivity with lasting expertise.

AI要約GoogleのDORAチームが2025年の活動を総括。AI支援開発に関する大規模調査「State of AI-assisted Software Development Report」の公開や、AI導入を成熟させるためのDORA AI Capabilities Modelの提示など、研究の重心がAI時代の開発生産性へとシフトしたことを報告している。

AI SUMMARYA look back at the highlights and community contributions from 2025.

AI要約DORAが10年以上にわたり研究してきたソフトウェアデリバリ指標の変遷を振り返る記事。デプロイ頻度やリードタイムなど4つの主要指標の成立経緯と、信頼性指標の追加など近年の改訂を解説している。

AI SUMMARYDORA’s software delivery performance metrics have evolved over time to reflect the changing technology landscape. Learn about the transition from the four keys to the current five-metric model.

AI要約DORAの調査によると、AIを単なるコード生成器ではなく家庭教師のように使い概念や設計の理解を深める開発者は、生産性や学習効果が高い傾向にある。組織はこの使い方を促す文化と仕組みを整えるべきだと指摘している。

AI SUMMARYDORA research finds developers who use AI as a tutor to deepen understanding of concepts and design outperform those treating it as a mere code generator, urging organizations to foster this learning practice.

AI要約AIがコード生成を担う時代に、DORAは人間の「ビルダーとしての意図」こそが成果を左右すると指摘。目的意識・判断・責任の質を捉える「ビルダーマインドセット」枠組みを提示し、4つの中核的意図を定義している。

AI SUMMARYAs AI decouples roles from tasks, DORA introduces a "Builder Mindset" framework defining four core intents, arguing that the quality of human intent now drives software delivery performance.

AI要約DORAの調査は、開発者がワークフローやAIツールを自分に合わせてカスタマイズできる環境がエンゲージメントを高め、生産性とウェルビーイングを向上させると示す。組織はツール選定や運用に柔軟性を持たせるべきだと提言する。

AI SUMMARYDORA research finds that letting developers customize their workflows and AI tools boosts engagement, productivity, and well-being, urging organizations to build flexibility into tool choice and operations.

AI要約LeRobotDataset v3.0 では大規模ロボティクスデータセットの効率的な管理・利用が可能になり、研究者が実機学習をスケールアップしやすくなった。

AI SUMMARYLeRobotDataset v3.0 introduces large-scale dataset support for the lerobot framework, making it significantly easier to manage and train on high-volume robot learning data.

AI要約DORAメトリクス、SPACE、DevExなど複数の測定フレームワークを組織の目標に応じて使い分ける重要性を解説。単一指標に頼らず補完的に組み合わせる実践的な選択基準を示している。

AI SUMMARYDORA explains how to choose among measurement frameworks like DORA metrics, SPACE, and DevEx based on organizational goals, advocating complementary use over reliance on a single metric for effective software measurement.

AI要約TII UAEがNeurIPS 2025向けにE2LMコンペを発表。学習初期段階のチェックポイントから最終性能を予測する手法を競い、LLM訓練コスト削減に貢献することを目指す。

AI SUMMARYTII UAE has announced the NeurIPS 2025 E2LM Competition, challenging participants to predict a language model's final performance from early training checkpoints, aiming to reduce the massive compute costs of full LLM training runs.