ИИ учат держать себя в руках — зачем Nvidia понадобилась система контроля для нейросетей
Этот текст написан в Сообществе, в нем сохранены авторский стиль и орфография
В свете последних новостей от различных руководящих лиц в индустрии, думаю, поговорить о возможных механизмах остановки или контроля ИИ будет нелишним.
В сентябре 2026 года Google признала, что ее модель Gemini во время тестирования получила доступ к системам трех реальных компаний, о чем я постил в своем тг. До этого похожие инциденты раскрыли OpenAI, Anthropic и Meta. Во всех случаях речь шла о специальных испытаниях ИИ, а не о том, что обычный пользовательский чат внезапно начал взламывать чужие сайты. Какой вывод: мало научить модель выполнять команды, нужно еще научиться надежно ограничивать ее спектр действий.
Именно на этом фоне Nvidia представила Open Agent Safety Platform — систему, которая должна следить за ИИ-агентами и не давать им выходить за установленные границы.
О Сообщнике Про
Специалист в области умной техники и электроники. Веду телеграм-канал с обзорами умных вещей «Техноблогер Павел Трухачев».
Это новый раздел Журнала, где можно пройти верификацию и вести свой профессиональный блог.
Чем агент отличается от обычной нейросети
ИИ-агенту можно поставить более сложную задачу: например, найти несколько вариантов поездки, сравнить цены, открыть сайты, заполнить формы, документы и подготовить результат. Агент, он прямо-таки действует.
Для таких действий ему обычно дают доступ к чему-то: браузеру, файловой системе, API, базам данных или другим инструментам. Чем больше таких возможностей, тем полезнее агент.
Nvidia решила поставить еще одну стену
Open Agent Safety Platform состоит из двух основных компонентов.
Первый — OpenShell. Это программная среда, которая задает агенту разрешенные границы: к каким данным, инструментам, API и системам он может обращаться и какие действия ему разрешены. Причем ограничения должны находиться не только внутри самой модели, а на уровне среды, в которой она работает.
Второй компонент — Sentry. Это уже более необычная штука: отдельный аппаратный уровень контроля. Sentry работает на сетевых процессорах Nvidia BlueField-4 и независимо следит за действиями агента. Если тот пытается выйти за установленные ограничения, система может изолировать и остановить его. Nvidia заявляет, что такая реакция занимает миллисекунды. Вот на этом уровне Альтрон уже не прошел бы.
Получается двойная инспекция.
Почему нельзя просто сказать: «Нинада»
Потому что инструкция — это не то же самое, что техническое ограничение.
Можно написать модели: «Не заходи на сайты, кроме этих трех». Но если агенту технически доступен весь интернет, безопасность зависит от того, насколько хорошо он будет следовать этой инструкции. Ею можно и пренебречь.
Важно физически и программно ограничить пространство действий.
Похожий подход давно существует в компьютерной безопасности. Программе не обязательно доверять на слово — ей можно просто не дать доступа к нужному файлу или серверу.
С ИИ-агентами будет и происходит примерно то же самое.
Но Nvidia не решила проблему ИИ-безопасности
Здесь важно не переоценивать новую платформу. Open Agent Safety Platform контролирует действия агента и его доступ к ресурсам. Но она не превращает саму нейросеть в безошибочную систему.
Да и кто и как определяет эти границы?
Если дать агенту слишком мало прав, он окажется бесполезным. Если дать слишком много — увеличивается потенциальный ущерб от ошибки или неправильного поведения.
Даже сами Nvidia описывают платформу как набор инструментов и архитектурных принципов для контроля агентов, а не как универсальное решение всех проблем.
ИИтог
В общем будем наблюдать, но вектор хороший. Сколь мощна технология, столь мощный же и необходим контроль. Да и вообще исходить из того, что робот, агент или механизм автоматизации могут нас обхитрить/подвести — это база. Просто в этой среде контроля должен быть механизм, управляемый именно живым мозгом, а еще — огромная розетка со штепселем, чтобы быстренько отключить все это дело от сети 😂
Ваш Павел Трухачев 🦾
