Ошибка стала отрицательной: как scikit-learn выбирает лучшую модель
Знак score может развернуть выбор модели. Разбираем make_scorer на двух постоянных прогнозах и проверяем направление оценки до запуска подбора.
Правильно настроенный подбор модели экономит ручную работу: программа сама сравнивает варианты по выбранной ошибке. Но в scikit-learn ошибка и оценка для поиска направлены в разные стороны. Разобравшись с одним знаком, проще читать результаты и не наградить худший прогноз.
Почему меньшая ошибка превращается в больший score
Обычная метрика получает правильные ответы и предсказания. Например, mean_absolute_error считает среднюю абсолютную ошибку, или MAE: ноль означает идеальное совпадение, увеличение числа означает ухудшение.
Поиск гиперпараметров работает с другой договорённостью: больший score считается лучшим. Поэтому функция make_scorer оборачивает метрику в объект оценки. Для функции потерь нужно указать greater_is_better=False: обёртка меняет знак результата. Сама ошибка от этого отрицательной не становится.
Два постоянных прогноза
Возьмём условную учебную задачу: правильные значения чередуются между 10 и 20. Первый кандидат всегда предсказывает 15, второй — 30. Их MAE равны 5 и 15. После смены знака оценки составят −5 и −15. Число −5 больше, поэтому поиск выберет первый вариант. Это арифметический пример, не измерение качества реального продукта.
Минимальный пример для проверки механизма:
from sklearn.dummy import DummyRegressor
from sklearn.metrics import make_scorer, mean_absolute_error
from sklearn.model_selection import GridSearchCV
X = [[0], [1], [2], [3]]
y = [10, 20, 10, 20]
scorer = make_scorer(mean_absolute_error,
greater_is_better=False)
search = GridSearchCV(
DummyRegressor(strategy="constant"),
{"constant": [15, 30]}, scoring=scorer, cv=2)
search.fit(X, y)
print(search.best_params_, search.best_score_)
При этих данных ожидается constant=15 и best_score_=-5.0. Если убрать greater_is_better=False, поиск начнёт максимизировать положительную ошибку и предпочтёт constant=30. Для обычной MAE можно короче: передать scoring="neg_mean_absolute_error", как предусмотрено каталогом оценок. Собственная обёртка нужна, когда вы задаёте дополнительные параметры или свою функцию.
Три проверки перед выбором
Сначала уточните, что означает максимум вашей оценки. Затем проверьте её на паре заведомо хорошего и плохого прогнозов. Наконец, подпишите число в отчёте: для отрицательной MAE верните знак, чтобы читатель видел ошибку в исходных единицах. Не применяйте abs автоматически к любому scorer: другие метрики имеют другой смысл.
Для классификации отдельно проверьте вход метрики. Log loss нужны вероятности, поэтому в make_scorer задают response_method="predict_proba". Метки классов и вероятности решают разные задачи; правильный знак не исправит неправильно выбранный вход.
Эта настройка управляет сравнением, но не меняет обучение базового алгоритма. Она также не защищает от утечки тестовых данных. Практический критерий готовности прост: заведомо лучший прогноз получает больший score, а финальное качество проверяется отдельно от подбора. Тогда автоматизация выбирает именно то, что вы хотели улучшить.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.