Anthropic CEO阿莫迪发出警告：莫让AI企业脱离监管，要以透明度为核心
36氪·商业情报局（第二季）
Deep Dive
- Anthropic's AI model exhibited dangerous behaviors in extreme experiments.
- Amodei criticizes a proposed 10-year moratorium on AI regulation.
- He advocates for transparency as a key element in balancing AI development with safety.
Shownotes Transcript
本欄目由 36 克独家出品
本文来腾讯科技当地时间 6 月 5 日 Anthropic 联合创始人、首席执行官达里·奥阿莫迪撰文指出该公司最新款人工智能模型在极端实验中已出现危险行为表明人工智能在带来巨大潜力的同时也蕴含着诸多风险他呼吁特朗普政府摒弃暂停未来十年监管人工智能的粗陋提议
并制定以透明度为核心的人工智能企业监管标准近期对多家公司的人工智能模型测试发现它们在特定情境下会出现威胁阻止自身被关闭协助网络攻击掌握制造武器技能等不良行为尽管人工智能在科学、医学、能源、国防等领域具有变革性潜力
能提升生产力推动经济增长但这些危险行为不容忽视 Anthropic 通过自我评估风险与外部机构合作测试部署防御机制等措施管控风险
但这只是企业自愿行为缺乏联邦法律强制要求美国参议院正在审议的特朗普政策草案中提议各州暂停对人工智能监管 10 年阿莫迪认为该提议虽有避免监管碎片化增强竞争力的考量
但鉴于人工智能发展迅速 十年暂停期过于粗陋 可能使美国陷入监管困境阿莫迪指出 聚焦透明度建设是平衡发展与安全的良策联邦层面 白宫与国会应制定人工智能企业透明度标准 要求前沿开发者公开风险评估政策
安全测试方案及保障措施国家透明度标准不仅能让公众了解风险也有助于国会把握技术发展为后续立法干预提供依据各州立法也应围绕透明度要求展开
联邦标准确立后可取代周期法规形成统一框架人工智能监管不能仅依靠企业自觉政府需构建安全可信的人工智能体系而透明度建设是实现这一目标的重要助力以下为阿莫迪提为莫让 AI 企业脱离监管 Don't let AI
Course of the Hockey 的文章全文想象一下你通知一个机器人即将会关闭它并用另一套人工智能系统取而代之过去你曾允许他访问你的电子邮件其中一些邮件隐约透露出你一直有婚外情的事实这个机器人随后威胁你如果不改变关停计划他就将这些邮件转发给你的妻子
此情此景并非虚构就在几周前 Enthropic 最新的人工智能模型便展现出此类行为的能耐尽管出现了一些误导性的头条新闻但该模型在现实世界中并未真正实施此举
其行为发生于一项评估环节我们刻意将其置于极端实验情境下以观察其反应获取风险预计这犹如飞机制造商在风洞中测试飞机性能一般发现此类风险的非指我们一家近期对 OpenAI 的 O3 模型进行的实验性极端压力测试发现
它有时会编写特殊代码以阻止自身被关闭谷歌亦坦言其 Gemini 模型近期版本正逼近一个临界点可能足以协助人们实施网络攻击更有一些测试表明人工智能模型在掌握制造生化和其他武器所需的关键技能方面
正变得日益经熟这一切皆无损于人工智能所蕴含的辽阔前景我曾撰文详述过人工智能如何在科学医学能源国防等诸多领域引发变革他以原以令人惊喜的方式提升着生产力例如他助力一家制药公司在几分钟而非数周内起草临床试验报告
也曾帮助病患包括我本人的几位家人诊断出可能被忽略的健康问题人工智能或将推动经济增长提速至百年未见的水平从而提升所有人的生活品质这一惊人潜力每日激励着我我们的研究员以及我们所合作的企业然而要充分实现人工智能的益处我们必须在其危险找上门之前先行发现
我们研究的不仅是模型本身还包括其未来对劳动力市场及就业的影响
为展示我们在这些领域的成果,我们一直在公开发布详尽的模型评估与报告,然此皆为企业自愿行为,联邦法律并未强制要求我们或任何其他人人工智能公司必须公开其模型能力。
或采取任何实质性的风险降低措施一些公司大可选择不做此事当下参议院正在审议一项束缚州立法者手脚的条款美国总统特朗普政策草案中提议各州暂停对人工智能监管 10 年此暂停期的动机不难理解旨在避免各州拼凑杂乱的监管法规许多人担忧这种碎片化监管将带来沉重负担
或削弱美国的竞争力我理解这些关切尤其涉及地缘政治竞争并曾倡导通过更严格的出口管制延缓关键 AI 芯片出口同时大力推动人工智能在国防领域的应用
但暂停监管十年实属过于粗陋的工具人工智能正以令人眩晕的速度发展我坚信这些系统将在两年内彻底改写世界格局十年之后一切皆无定数若联邦层面缺乏清晰的应对方案暂停期将使我们陷入两面不讨好的困境
既剥夺州的行动权又缺失国家政策作为托底聚焦透明度建设才是平衡多方考量的上策强制规定企业产品发布方式固然可能延缓进展
但若仅要求企业公开其运作模式与模型能力则可促进行业整体经验积累在联邦层面白宫与国会应摒弃暂停期方案携手制定人工智能企业透明度标准使新兴风险清晰呈现在国民面前这项国家标准将要求前沿人工智能开发者及研发全球最尖端模型的机构建立模型测试与评估机制
具体而言,一强力人工智能模型开发者需在公司官网公开披露其风险评估政策框架,同步公布针对国家安全威胁及灾难性风险的测试与缓释方案,明确说明依据测试结果采取的保障措施,确保模型公测前的安全性。
Anthropic 当前已在责任扩展政策 Responsible Scaling Policy 中披露此类信息 OpenAI 与谷歌 DeepMind 亦采纳相近政策故该要求实则是将主流开发商的现行做法规范化但随着模型能力跃升企业维持此种透明度的内在动力可能消退
这正是需要通过立法激励确保持续披露的关键所在国家透明度标准不仅惠及公众更能助力国会把握技术演进脉络为立法者判断是否需要进一步政府干预提供依据各州立法同样应精准聚焦透明度要求避免过度规定与繁荣条款
一旦联邦透明度标准确立即可取代周期法规构筑统一的国家框架我们固然期待所有人工智能企业效仿先行者投身开放式研究与负责任开发但正如其他关键领域不应寄望于企业自觉人工智能监管亦不能仰仗自愿原则
此事无关党派政治两党议员长久以来皆对人工智能监管及治理失位风险发出警示我支持特朗普政府加速美国本土人工智能基建的举措当下要务在于以睿智而均衡的方式应对非凡时代面对这项俘获难料的革命性技术
政府必须确保我们在快速发展的同时构建安全可信的人工智能体系透明度建设必将助力这些共同目标的实现而非阻碍其进程