白宫挑战黑客在 DEF CON 31 上粉碎最好的 AI 模型 – Ars Technica

周四，白宫 宣布 包括 OpenAI、谷歌、Antrhopic、Hugging Face、微软、Nvidia 和 Stability AI 在内的顶级 AI 开发人员之间的惊人合作，分享了对他们的生成式 AI 系统的公开评估 DEFCON 31，8 月在拉斯维加斯举行的黑客会议。 该活动将由 人工智能村人工智能黑客社区。

自去年以来，像 ChatGPT 这样的 Large Large Models (LLM) 已成为一种流行的加速写作和交流任务的方式，但管理员意识到它们也存在固有的风险。 共享、越狱和偏见等问题给安全专业人员和公众带来了挑战。 为此原因 白宫科学、技术和政策办公室 他主张将这些新的 AI 生成模型推向极限。

“这项独立的工作将为研究人员和公众提供有关这些模型影响的重要信息，并将使人工智能公司和开发人员能够采取措施解决这些模型中发现的问题。” 巴彦说 来自白宫，称该活动符合拜登政府的人工智能权利法和美国国家标准与技术研究院 人工智能风险管理框架.

在平行下 广告 由 AI Village 组织者 Sven Kattell、Reman Choudhury 和 Austin Carson 撰写，他们将即将举行的活动称为“任何 AI 模型组有史以来最大的红队演习”。 数千人将参与AI模型的评估，将使用Scale AI开发的评估平台。

红队是安全专家试图发现组织系统中的弱点或缺陷以提高整体安全性和弹性的过程。

AI Village 的创始人 Cattell 表示，“只有更多的人知道如何设计和评估团队，这些模型的各种问题才会得到解决。” 通过对任何一组 AI 模型进行最大的红队练习，AI Village 和 DEF CON 旨在发展一个能够应对 AI 系统弱点的研究人员社区。

LLM 已被证明出奇地难以关闭，部分原因是我们在 9 月刊登了一篇关于“即时注入”的技术。 国际特赦组织研究员西蒙·威利森 写的很详细 关于立即注入的危险，这是一种可以使语言模型偏离执行其创建者无意的操作的技术。

在 DEF CON 活动期间，参与者将可以通过组织者提供的笔记本电脑访问多个 LLM。 旗形点系统将鼓励您测试各种潜在损坏。 最终，得分最高的人将赢得高端 Nvidia GPU。

“我们将分享我们从这次活动中学到的东西，以帮助其他想要体验同样事情的人，”AI Village 写道。 “了解使用这些模型的最佳方式及其局限性的人越多越好。”

DEFCON 31 它将于 2023 年 8 月 10 日至 13 日在拉斯维加斯的凯撒论坛举​​行。