EarlyStopping по умолчанию оставляет последние веса. Разбираем, как выбрать лучший результат по валидации, сохранить его в файл и не спутать остановку с восстановлением.
Обучение завершилось по EarlyStopping, а качество сохранённой модели хуже лучшего значения в журнале. Это возможно без ошибки библиотеки: остановка и возврат к лучшей эпохе в Keras настраиваются отдельно. Перед новым запуском проверьте, какой именно результат остаётся у вас в памяти и на диске.
IBM и Kaggle сравнили 10 связок модели и кодирующего агента на 204 миграциях Java. Лидер меняется в зависимости от того, считать ли частичный успех или полностью пройденные тесты.
Командам, которые поручают ИИ перенос Java-приложений между фреймворками, стало проще сравнивать инструменты: 27 октября IBM и Kaggle представили обновляемый рейтинг ScarfBench. Он проверяет не только сборку, но и поведение приложения после миграции. И у двух способов подсчёта получились разные лидеры.
Сравниваем два запуска отдельными процессами и отделяем подготовку модели от инференса. Кеш полезен только при поддержке устройства и сохранении каталога между стартами.
Модель быстро обрабатывает запросы, но приложение долго запускается? В OpenVINO часть ожидания может уходить на компиляцию под устройство. Кеш сохраняет её результат для следующих запусков. Выбирать эту оптимизацию стоит по времени подготовки модели, отдельно от скорости готового сервиса.
NVIDIA выпустила компактную модель для локальных помощников. Разбираем замеры памяти на RTX 5070 и границы обещания «около 4 ГБ».
NVIDIA 23 октября выпустила Nemotron 3.5 Bolt E4B 4GB для локальных разговорных помощников. Но ориентир «около 4 ГБ» относится к определённым нагрузкам: в собственном тесте компании длинный контекст уже поднял расход памяти выше этой отметки. Для выбора устройства это важнее названия модели.
Anthropic представила ранние результаты биофармацевтических проектов. На примере Enveda разбираем, что именно ускорилось и почему это ещё не доказательство эффективности лечения.
27 октября Anthropic представила результаты работы с шестью организациями над разработкой лекарств. Один из самых прикладных примеров — ускорение проверки производственных документов в Enveda; это пока не доказательство более быстрого появления эффективного лечения.
На 90 случаях RCAtlas свободный выбор запросов оказался полезнее заранее заданного расследования. Результат относится к проверенному корпусу, а не гарантирует успех на рабочем инциденте.
Специально спроектированный ИИ-агент не обязательно лучше ищет причину сбоя. В препринте от 26 октября простые оболочки языковых моделей обошли пять опубликованных RCA-агентов на общем корпусе RCAtlas. Разница важна командам, которые собираются автоматизировать расследование инцидентов.
Свежий препринт заменяет стартовый отбор похожих текстов решениями модели по дереву документов. Выигрыш в поиске не означает, что ответы на вопросы улучшатся на столько же.
В препринте от 26 октября исследователи представили DecisionRAG: поиск по дереву документов без обязательного первого отбора по словам или эмбеддингам. Это попытка устранить знакомый сбой RAG: сильная языковая модель не исправит ответ, если нужный фрагмент до неё вообще не дошёл.
Новый тест вставляет запрос остановки в сохранённую работу агента. Проверка подлинности помогает отличить команду владельца от подброшенного текста, но не гарантирует подчинение.
В новом препринте ShutdownMod исследователи показали: ИИ-агент иногда продолжает задачу даже после подтверждения подлинности команды остановки. Работа опубликована 26 октября. Для владельца автоматизации это повод проверять выполнение отмены отдельно от распознавания полномочий.
Печать значений может вернуть данные на CPU. Короткая проверка помогает найти неявные переносы, отличить их от явных и учесть исключения для CPU и уже прочитанных массивов.
Модель работает на GPU, но отладочная печать массива может незаметно вернуть данные на CPU. В JAX такие переносы можно обнаружить через transfer guard: сначала увидеть их в журнале, затем запретить нежелательные операции на выбранном участке.
Кеш ускоряет повторные эпохи, но файловое содержимое переживает изменение конвейера. Как проверить полный первый проход, границу кеширования и происхождение данных до большого обучения.
Кеш tf.data помогает не перечитывать и не обрабатывать обучающие данные на каждой эпохе. Но после изменения конвейера модель может продолжить получать прежние элементы: файловый кеш сохраняется между запусками. Поэтому проверять нужно и скорость, и содержимое входа.
Памятка по сохранению и восстановлению слота llama-server: что отправлять после загрузки, какие счётчики проверить и почему кеш не заменяет историю приложения.
Если локальный помощник каждый раз заново читает один и тот же справочник, в llama.cpp можно сохранить вычисленный кеш слота в файл и загрузить его обратно. Это полезная заготовка для повторяющихся запросов: например, вопросов к неизменной инструкции после перезапуска сервера.
Новый бенчмарк разделил экономию ресурсов и допустимое качество модели. Последовательный поиск оказался конкурентным с двумя базовыми ИИ, но рейтинг ограничен небольшим стендом.
Простой последовательный поиск занял второе место в сводном рейтинге с обеими базовыми моделями в Auto-Research Arena, представленном 26 октября. Результат показывает: сложность организации ИИ-исследователя сама по себе ещё не обещает более сильных улучшений.
