AI要約 本論文はLLMを核とする実運用システムのハイパーパラメータ最適化(HPO)を体系的に評価するためのベンチマーク「LLMSYS-HPOBench」を提案する。従来のモデル単体ではなく、検索拡張やエージェント構成を含むパイプライン全体を対象とし、再現性ある評価環境を整備する点が特徴である。

EN The paper introduces LLMSYS-HPOBench, a benchmark suite for hyperparameter optimization targeting real-world LLM-based systems. It evaluates full pipelines including RAG and agent configurations rather than isolated models, aiming to provide reproducible evaluation for HPO research in production-grade LLM stacks.