AI要約 SmartEvalは、自然言語の仕様からLLMが生成するスマートコントラクトの品質を評価する新しいベンチマークである。コンパイル可能性、機能の正しさ、セキュリティ脆弱性などを多面的に測定し、既存LLMの限界を明らかにする試みとされる。

EN SmartEval is a new benchmark designed to evaluate the quality of smart contracts generated by LLMs from natural language specifications, measuring compilability, functional correctness, and security vulnerabilities to expose limitations of current models.