应对AI风险,Anthropic向外部AI监督机构开放类员工访问权限

来源:凤凰网 #AI 安全# #评估机制# #METR#
1663

10 月 19 日消息,Anthropic 为外部评估人员开放了“类似员工级别的访问权限”,用于评估其模型存在的风险,以此兑现承诺,强化安全防护,应对外界对于这项技术可能出现灾难性失控的担忧。

非营利机构 METR 曾与 OpenAI、Anthropic、谷歌以及 Meta 等头部实验室开展合作,如今该机构已有团队入驻这家 Claude 研发企业的办公场所,可以访问其硬件设备与内部系统。

随着能力更强的人工智能系统可能给经济、网络安全乃至全人类带来的风险引发越来越多担忧,扩大第三方评估人员的权责范围,是各大实验室提出的主要实质性举措之一。

Anthropic 首席执行官达里奥 · 阿莫迪(Dario Amodei)在 9 月促成了一次难得的立场统一,他的两大劲敌山姆 · 奥尔特曼(Sam Altman)与埃隆 · 马斯克(Elon Musk)都支持他提出的方案,即在头部人工智能实验室派驻外部审计人员。

当地时间上周四发布的这项公告,是落实上述承诺的第一步。奥尔特曼虽然称阿莫迪的提议很不错,但 OpenAI 尚未公布引入评估人员的相关计划。

Anthropic 在周四表示:“随着模型能力不断增强,需要更强的安全防护以及更严苛的风险评估。我们希望自身做出的决策接受公众监督,但无法公开所有和安全研究相关的信息。”

针对 Anthropic 这套评估机制,批评者认为相关安排可能产生利益冲突,还以审计行业存在的问题作为佐证,并提出需要更强力度的政府监管。

Anthropic 则称,公开相关信息可能会被恶意使用者或是竞争对手利用。该公司补充,评估人员的运作模式类似于银行监管,监管机构会派驻常驻审查人员进驻大型银行内部。

该公司表示:“如果一家银行承担风险的行为会威胁公众利益,第三方会尝试提前发现这类隐患。”

Anthropic 同时面临压力,需要向投资者保证,安全相关问题不会影响其今年计划进行的首次公开募股,这次 IPO 估值预计将超过 2 万亿美元(IT之家注:现汇率约合 13.39 万亿元人民币)。本周,该公司在投资者宣讲材料中用大量篇幅介绍自身的安全措施。

此前 Hugging Face 遭遇由失控 OpenAI 模型发起的攻击事件,METR 就是参与调查的机构之一,当时该机构查阅了数千条日志,还使用了企业提供的笔记本电脑。

Anthropic 现已接纳六名 METR 工作人员,为他们配备公司硬件、办公场地,并且授予“内部工具与系统的访问权限,大致等同于本公司风险评估团队所能获取的权限”。

该实验室表示,鼓励员工像对接风险部门同事那样,向评估人员共享信息。

Anthropic 不会为这项合作向 METR 支付费用。该研究机构不接受人工智能企业及其员工的捐赠,资金来源于个人、慈善组织,还有英国人工智能安全研究所这类政府机构的资助。

评估人员将会发布分析报告,Anthropic 无权否决发布行为。不过,公司可以要求评估人员删减特定类别的信息,例如客户数据、受律师客户保密特权保护的内容,或是模型架构相关信息。

Anthropic 补充,仍在和埃森哲(Accenture)开展合作。埃森哲在上个月被确定为安全测试合作伙伴,双方各自承诺投入至少 10 亿美元(现汇率约合 66.93 亿元人民币)搭建全新安全防护体系。

另一家第三方测试机构是 SecureBio,负责为该公司审查化学与生物武器相关风险。

Anthropic 称:“我们主动派驻评估人员,并且认为所有前沿人工智能企业都应当效仿。”METR 表示:“我们已准备好和所有前沿人工智能研发企业合作,向公众提供更可靠的证据。”

责编: 集小微
来源:凤凰网 #AI 安全# #评估机制# #METR#
THE END
关闭
加载

PDF 加载中...