🖼 🤖 OpenAI更新AI防范框架，应对潜在严重危害

🤖 OpenAI更新AI防范框架，应对潜在严重危害

OpenAI发布更新版“防范框架”，旨在追踪并防范先进AI可能带来的严重危害。更新重点包括：

* 明确高风险能力优先级： 评估AI能力是否可能导致严重危害，并根据风险的可信性、可衡量性、严重性、全新性和不可弥补性等五项关键标准进行分类。
* 细化能力类别：
* 已追踪类别： 生物和化学能力、网络安全能力和AI自我改进能力。
* 研究类别： 远程自主性、沙袋（故意表现不佳）、自主复制和适应、破坏保障措施以及核与放射性。
* 明确能力等级：
* 高能力： 可能扩大现有严重危害途径，部署前必须充分降低相关风险。
* 关键能力： 可能引入前所未有的新严重危害途径，开发过程中也需要充分降低相关风险。
* 安全顾问组（SAG）： 跨部门团队评估保障措施是否充分降低严重风险，并向OpenAI领导层提出建议。
* 可扩展评估： 构建自动化评估套件，并进行专家主导的“深度挖掘”，以确保评估的准确性。
* 定义保障措施报告： 在能力报告的基础上，增加关于如何设计强大保障措施并验证其有效性的详细信息。
* 应对变化： 如果其他AI开发者发布高风险系统而没有类似的保障措施，OpenAI可能会调整其要求，但会首先确认风险环境确实发生了变化，并公开承认正在进行调整。

OpenAI将继续发布其防范研究结果，并分享新的基准，以支持整个领域的安全工作。

(@OpenAI)

via 茶馆 - Telegram Channel