Обе модели решили 89,1% задач. В тесте Databricks одна стоила в 32 раза дороже
Databricks открыла AI Index с данными об использовании моделей и тестами ИИ для разработки. В одном сравнении одинаковая доля успешных задач скрыла большой разрыв в стоимости.
Databricks открыла AI Index 16 ноября. В одном из сравнений GPT‑6 Luna и Claude Opus 5.5 решили по 89,1% задач. Средняя оценочная стоимость задачи у Luna составила $0,05, у Opus 5.5 — $1,62.
В публичном индексе соседствуют два набора данных. Первый описывает использование моделей клиентами Unity Gateway. Второй сравнивает модели в средах разработки на задачах инженеров Databricks. В тестах используют закрытый репозиторий, а результат проверяют скрытыми тестами. Стоимость оценивают по публичным тарифам провайдеров.
Разрыв в цене важен для команд, которые поручают агентам много однотипной работы. Даже с дешёвыми токенами задача может обойтись дорого, если агент делает много ходов. Databricks приводит другой пример: Gemini 3.8 Flash в этом тесте делала в среднем 140 ходов на задачу, а расчётная стоимость достигла $11,97.
Перед сменой модели возьмите типовые исправления из своего проекта и прогоните их в привычной среде. Учтите расходы на все попытки, включая те, где тесты упали, затем разделите сумму на число принятых исправлений. Так можно проверить, даёт ли разница в цене реальную экономию на вашей работе.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.