ScarfBench由Hugging Face发布,专注于评估AI代理在将企业Java应用从旧框架迁移到现代框架时的性能。该基准包含一系列复杂的迁移任务,如从Java EE迁移到Spring Boot,要求代理理解现有代码结构并生成兼容代码。初步测试显示,当前最先进的AI代理在简单任务上表现良好,但在处理大型、依赖复杂的项目时仍面临挑战。ScarfBench旨在推动AI在软件工程自动化领域的发展,特别是企业级代码迁移。