ИИ умеет читать маленькую нейросеть. А сможет ли аккуратно починить большую?
WeightBench проверяет работу агента прямо с весами. Первые результаты разделяют успехи на небольших сетях и трудности безопасного исправления языковых моделей.
Можно ли поручить языковой модели исправление другой нейросети прямо через её веса? Препринт WeightBench, поданный 13 ноября, предлагает 42 задачи для проверки этой способности. Первые результаты авторов показывают заметный разрыв между чтением небольших сетей и точным ремонтом языковых моделей.
Вместо обычного написания программы агент анализирует числовые параметры: определяет назначение сети, меняет веса или строит новую небольшую управляющую политику. Пять направлений включают также распознавание невыполнимых изменений и сжатие без данных. Размеры объектов — от примерно двух тысяч до семи миллиардов параметров.
Важна не только исправленная ошибка. Оценка учитывает ущерб другим способностям, объём вмешательства и вычислительный бюджет. Авторы ограничивают доступ агента и записывают действия в журнал; подозрительные прогоны получают ноль до проверки человеком.
Рисунок 1: Aayush Marasini, Barsat Khadka, Nick Rahimi, WeightBench. Схема описывает контроль эксперимента, а не доказательство надёжности исправления.
В испытаниях сильные агенты читали небольшие сети и создавали рабочие управляющие политики, но ремонт языковых моделей и сжатие без данных оставались слабыми местами. Это результат авторов препринта, а не независимое подтверждение универсального метода.
Прямой рейтинг требует осторожности: модели прошли неодинаковое число задач, использовали разные оболочки и число повторов; часть прогонов ещё ожидает ручного аудита. Практический критерий для такого «ремонта» — улучшение целевого поведения вместе с проверкой сохранности остальных функций. Одного удачного примера недостаточно.
Комментарии
Войдите, чтобы оставить комментарий
Пока нет комментариев. Начните обсуждение.