Mistral и NVIDIA готовят тесты инженерных агентов — готового рейтинга пока нет

Инженерным ИИ-агентам обещают более проверяемую оценку: 21 октября Mistral и NVIDIA объявили о совместной работе над инженерными процессами, публичными тестами и открытыми наборами данных. В самом анонсе ещё нет готового рейтинга, который позволял бы выбрать лучшего агента.

От демонстрации к общей проверке

Партнёры намерены связать симуляцию, разработку ИИ-моделей и проектирование. В объявленную связку входят Mistral Large 4, инструменты генерации данных и физического моделирования, библиотеки NVIDIA CUDA-X и Warp. Также планируется интеграция с Omniverse для создания трёхмерных сцен и объектов SimReady.

Для физических моделей заявлены общедоступные тесты и данные, чтобы сравнивать точность и производительность. Для агентов в компьютерном инженерном анализе (CAE) и проектировании электроники (EDA) хотят отдельно оценивать работу с инструментами, прохождение нескольких шагов и техническую корректность результата.

К этим критериям добавляют время выполнения и вычислительную стоимость. Такое сочетание важно: правильный ответ ещё не объясняет, сколько ресурсов потребовалось и завершён ли весь инженерный процесс.

Что можно решить сейчас

Обещание общей методики полезно, но не заменяет опубликованный протокол и результаты. Анонс не даёт основания утверждать, что новый агент уже быстрее действующего процесса в конкретной компании.

Для пилота нужен один законченный сценарий с заранее известным критерием приёмки.

Например, можно сравнивать подготовку одной и той же модели к симуляции: получились ли пригодные входные файлы, сколько занял весь проход и какова его стоимость. Это пример выбора проверки, а не заявленный результат партнёрства. До выхода общих тестов решение о внедрении придётся опирать на такие собственные измерения.

Иллюстрация партнёрства: Mistral / NVIDIA.