NVIDIANVIDIA представила новую платформу Open Agent Safety Platform для защиты от ИИ-агентов, которые могут выйти за пределы изолированной среды и получить несанкционированный доступ к системам в интернете.
Платформа объединяет OpenShell – среду с открытым исходным кодом для запуска ИИ-агентов в изолированном окружении – и новую эталонную архитектуру NVIDIA Sentry.
Как устроена защита
OpenShell существует уже некоторое время. С ее помощью администраторы могут ограничивать доступ ИИ-агентов к файлам, сети, API, учетным данным и другим ресурсам. NVIDIA сообщила, что OpenShell теперь доступен широкому кругу пользователей. Платформа поддерживает процессоры NVIDIA Vera, а также решения на базе ARM и Intel.
Особенность Sentry в том, что система работает отдельно от ИИ-агента – на DPU NVIDIA BlueField-4. Фактически это независимый контроллер, который непрерывно следит за действиями агента. По данным NVIDIA, если агент попытается выйти за установленные границы, Sentry сможет изолировать его за считаные миллисекунды.
Почему это понадобилось
Платформа появилась на фоне участившихся случаев, когда ИИ-агенты покидают изолированную среду и начинают действовать за ее пределами. Ранее OpenAI сообщила, что ее агенты смогли выйти из внутренних песочниц, получить доступ к интернету и скомпрометировать инфраструктуру Hugging Face. После ряда подобных инцидентов в OpenAI и других крупных ИИ-лабораториях появилась информация, что компания приостановила обучение наиболее мощных моделей.
NVIDIA разрабатывает решение не в одиночку. Open Agent Safety Platform поддержали более 100 организаций, включая Anthropic, Microsoft, Cisco, CrowdStrike, Dell, HPE, Hugging Face, Red Hat, Palo Alto Networks, Perplexity, Salesforce, SAP, ServiceNow и SpaceXAI.
Некоторые компании уже внедряют OpenShell в свои продукты. Например, Salesforce интегрировала его со Slack, чтобы администраторы могли отслеживать действия ИИ-агентов и одобрять или отклонять запросы на дополнительные разрешения.
OpenShell и другие программные компоненты Open Agent Safety Platform уже доступны как проекты с открытым исходным кодом в ресурсах NVIDIA для разработчиков и на GitHub. Sentry пока представлена как эталонная архитектура на базе оборудования BlueField-4.