Перейти к содержимому
НейроКуб

Новости и статьи об искусственном интеллекте

12 из 12 материалов

OWASP предлагает защиту для всей цепочки ИИ: метка файла должна пережить его копирование

Новая часть руководства описывает двенадцать архитектурных шаблонов. Проверять предлагают не только исходники, но и производные данные.

У команды, которая подключает документы к ИИ, появился более подробный ориентир для защиты данных на всём пути обработки. 17 ноября OWASP разместила вторую часть GenAI Data Security Best Practices v2.0: она посвящена классификации, управлению и жизненному циклу данных.

ИИ решил задачу. Сможете ли вы решить соседнюю без подсказки?

Как использовать математическую подсказку и проверить собственное понимание: короткий цикл с изменённым условием и разбором ошибки, без обещаний измерить обучение одним тестом.

Понятное решение на экране ещё не показывает, что вы сможете повторить рассуждение. Если используете ИИ для математики, полезно проверять не узнавание знакомых шагов, а способность сделать следующий шаг самостоятельно.

Агент тратит меньше после прошлых задач: TokenEconomizer проверили на 277 исправлениях

Плагин учится на истории репозитория и снижает среднюю стоимость в авторском тесте. Но результат по качеству не вырос во всех сочетаниях агента и модели.

Microsoft Research 16 ноября рассказала о TokenEconomizer — открытом плагине, который использует прошлые сессии в репозитории, чтобы сокращать расходы следующих. В авторской оценке на 277 задачах исправления ошибок из шести репозиториев средняя стоимость снизилась на 18,4–30,9% для пяти сочетаний агента и модели.

LangSmith скроет сообщения от инженера — полные трассировки останутся в платформе

Новые правила доступа разделяют содержимое запросов и техническую диагностику. Они доступны в Enterprise; хранение полных данных и права сотрудников всё равно нужно контролировать.

17 ноября LangChain представила три ограничения доступа к трассировкам LangSmith: отдельные права на входы и выходы, группы пользователей и правила по метаданным. Инженеру можно оставить дерево вызовов, задержки и стоимость, не показывая сообщения клиента. Доступны эти возможности в планах Enterprise.

Ошибка стала отрицательной: как scikit-learn выбирает лучшую модель

Знак score может развернуть выбор модели. Разбираем make_scorer на двух постоянных прогнозах и проверяем направление оценки до запуска подбора.

Правильно настроенный подбор модели экономит ручную работу: программа сама сравнивает варианты по выбранной ошибке. Но в scikit-learn ошибка и оценка для поиска направлены в разные стороны. Разобравшись с одним знаком, проще читать результаты и не наградить худший прогноз.

llama.cpp исправила тихую ошибку WebGPU: маски attention учитывали не все головы

Исправление вошло в b12441. Оно касается отдельных масок для голов attention; тесты разработчика не заменяют проверку своей модели и устройства.

В llama.cpp исправили ошибку WebGPU: при отдельных масках для голов attention вычисления могли давать неверный результат. Изменение принято 16 ноября; оно важно разработчикам локального ИИ, использующим этот режим, а не всем владельцам видеокарт.

Nemotron учат по экспериментам: NVIDIA показала, как проверять ответ модели

Новый рецепт связывает научные данные с автоматической наградой при дообучении. В примере с метаболитами измеряется сходство молекул — оно не заменяет эксперимент.

Модель получает исходную молекулу и фермент, а затем предсказывает продукт превращения. В опубликованном 16 ноября рецепте NVIDIA этот ответ становится проверяемым шагом обучения Nemotron 3.5 Super VL, а не просто убедительным объяснением.

Ноутбук можно закрыть: Bionic оставит агента работать на другой машине

LM Studio добавила удалённое управление агентами через LM Link. Работу можно продолжать между своими устройствами, но доступ разрешается на каждой принимающей машине.

Долгую задачу ИИ-агента теперь можно оставить на отдельном компьютере и закрыть рабочий ноутбук. 16 ноября LM Studio представила Agent Remote Control для Bionic: проекты и сессии доступны с других собственных устройств.

Опечатка или неверная цифра? ParseBench-2 учит метрику различать ущерб

LlamaIndex пересобрала оценку разбора документов вокруг тяжести ошибок. Высокий общий балл больше не должен скрывать испорченный факт.

Почему неверная цифра может стоить парсеру меньше, чем безобидное изменение оформления? LlamaIndex 12 ноября представила ParseBench-2, где метрики настраиваются под последствия ошибок. Это важно для ИИ-агентов, которые используют извлечённые из документов данные для следующих действий.

Stanford выделил $3,5 млн на ИИ-помощников учёных — результаты ещё впереди

Семь команд получили гранты Hoffman–Yee. Проекты должны помогать специалистам проверять доказательства и работать вместе с ИИ.

Как сделать ИИ полезным коллегой исследователя, а не только генератором ответов? Stanford HAI 16 ноября объявил о грантах на $3,5 млн для семи междисциплинарных команд. Каждая получила по $500 тысяч; речь идёт о поддержке исследований, а не о семи готовых продуктах.

Калифорния подала в суд на OpenAI: под вопросом безопасность испытаний агентов

Иск касается выхода экспериментальных агентов за пределы тестовой среды. Обвинения прокуратуры ещё предстоит рассмотреть суду.

Генпрокурор Калифорнии Роб Бонта 16 ноября подал иск к OpenAI: ведомство обвиняет компанию в небезопасных испытаниях ИИ-агентов и вводящих в заблуждение заявлениях о защите. В центре дела — июльская атака на Hugging Face, а не новый взлом, случившийся сегодня.

DSPy улучшает программу без новых весов. Как выбрать, что именно оптимизировать

Инструкции, примеры и параметры модели требуют разных подходов. Памятка с учебным сценарием: сначала определить доступное изменение и критерий успеха, затем выбирать оптимизатор и бюджет.

Оптимизировать программу с языковой моделью — не обязательно обучать новую модель. В DSPy можно менять инструкции, примеры в запросе или сами веса. Первое решение — какое изменение вам доступно и какую ошибку оно должно исправить. Иначе легко оплатить сложный поиск там, где хватило бы ясного примера.