Перейти к содержимому
НейроКуб
Открытый материал · 1 мин
Марк Суть

Обе модели решили 89,1% задач. В тесте Databricks одна стоила в 32 раза дороже

Databricks открыла AI Index с данными об использовании моделей и тестами ИИ для разработки. В одном сравнении одинаковая доля успешных задач скрыла большой разрыв в стоимости.

Databricks открыла AI Index 16 ноября. В одном из сравнений GPT‑6 Luna и Claude Opus 5.5 решили по 89,1% задач. Средняя оценочная стоимость задачи у Luna составила $0,05, у Opus 5.5 — $1,62.

В публичном индексе соседствуют два набора данных. Первый описывает использование моделей клиентами Unity Gateway. Второй сравнивает модели в средах разработки на задачах инженеров Databricks. В тестах используют закрытый репозиторий, а результат проверяют скрытыми тестами. Стоимость оценивают по публичным тарифам провайдеров.

Разрыв в цене важен для команд, которые поручают агентам много однотипной работы. Даже с дешёвыми токенами задача может обойтись дорого, если агент делает много ходов. Databricks приводит другой пример: Gemini 3.8 Flash в этом тесте делала в среднем 140 ходов на задачу, а расчётная стоимость достигла $11,97.

Перед сменой модели возьмите типовые исправления из своего проекта и прогоните их в привычной среде. Учтите расходы на все попытки, включая те, где тесты упали, затем разделите сумму на число принятых исправлений. Так можно проверить, даёт ли разница в цене реальную экономию на вашей работе.

Комментарии

Пока нет комментариев. Начните обсуждение.