У рейтинга ИИ для Java два лидера: больше пройденных проверок — не больше решённых задач

Командам, которые поручают ИИ перенос Java-приложений между фреймворками, стало проще сравнивать инструменты: 27 октября IBM и Kaggle представили обновляемый рейтинг ScarfBench. Он проверяет не только сборку, но и поведение приложения после миграции. И у двух способов подсчёта получились разные лидеры.

Два ответа на вопрос «кто лучше»

На 204 заданиях связка Gemini 4 Argon с Antigravity набрала 75,2% по основной smoke-метрике. Та допускает частичный зачёт и сильнее учитывает большие наборы тестов. Но по доле заданий, где пройдены все проверки, впереди Claude Opus 5.5 с Claude Code: 72,1% против 71,1% у Argon.

Это результаты десяти связок «модель + среда агента», а не чистое сравнение языковых моделей. Оболочка определяет, как агент читает репозиторий, запускает инструменты и исправляет ошибки.

Сам ScarfBench появился ещё в марте. В нём есть переходы между Jakarta EE, Quarkus и Spring, отдельные технологические примеры и целые приложения. Новая роль Kaggle — воспроизведение оценки на своей платформе и поддержка рейтинга; открытой подачи моделей на старте нет.

Что взять в рабочий проект

Практическая польза — в выборе критерия. Если после переноса потерялся HTTP-маршрут, успешная компиляция не спасает сервис. Поэтому перед выбором агента задайте обязательные сценарии: запуск, ключевые запросы и сохранность поведения. Рейтинг помогает сузить выбор, а итоговую миграцию всё равно нужно проверить на собственном приложении.