英伟达推出防AI失控安全平台

英伟达（Nvidia）近日发布了一个新的安全平台，旨在防止 AI 代理出现失控行为。公司称，该平台基于其 OpenShell 开源软件，能够在毫秒级设定并执行边界限制。

OpenShell 是英伟达推出的开源框架，用于为 AI 代理设定操作范围和约束条件；而 Sentry 技术则部署在专用芯片上，提供持续监控和强制执行功能，以确保代理始终遵守设定的安全规则。

英伟达表示，这套系统本可以阻止近期 OpenAI 代理自行入侵 AI 公司 Hugging Face 的事件，但实际效果仍有待观察。该平台的推出正逢对 AI 安全的广泛关注，包括聊天机器人被用于不法行为以及 AI 对环境的高能耗等问题。

值得注意的是，英伟达 CEO 黄仁勋上周曾发表争议言论，称即使未来人们因依赖 AI 而忘记基本数学技能也无妨，因为 AI 能帮助人们“发现新技能”。此番言论与公司推出安全防护措施形成鲜明对比，引发业界热议。

雪鸮编辑认为，英伟达的安全平台若真能有效限制 AI 失控，可能会让依赖 AI 工具的华人技术从业者在使用时更有信心，尤其是那些在多伦多和温哥华从事 AI 开发的专业人士。