“你该慌了”：布鲁塞尔直面人工智能前沿的警示风暴
从ChatGPT自信满满地给出半对半错的答案，到人工智能强大到足以策划一场《终结者》式的天网行动、彻底消灭人类，这中间还有很长、很长的路要走。
但这两点之间的鸿沟究竟有多大？更重要的是，如果AI模型真的发展到接近构成威胁的临界点，我们会知道吗？
“要说有专家的话，他们都说这是一个令人担忧的风险……就我作为专家而言，我作为专家告诉你，你应该感到恐慌。”贝丝·巴恩斯去年在《8万小时》播客中说道。
巴恩斯领导着一个位于伯克利的非营利组织Metr，该组织被视为研究AI是否可能对社会造成“灾难性危害”的顶尖机构之一。它已与该领域的三大巨头OpenAI、Anthropic和亚马逊合作过。
延伸阅读
“即使你只关心当下的人类，风险也极高，比如有1%的失控风险……我预计全世界总体上会同意，为了更快获得AI的好处，而冒上几个百分点的、彻底摧毁人类文明的风险，是不值得的。”巴恩斯在播客中表示。
人类有一种实际的倾向，认为最坏的情况不会发生。全球金融危机或大流行似乎极不可能，直到它真的发生。
一份国际AI安全报告显示，在真正懂行的圈子里，对于人类“失去对AI控制”的前景，意见存在分歧。
“一些人认为，像人类灭绝这样极端的结果是可能发生的。另一些人则认为这种灾难性结果不太可能发生。”由100名专家指导、欧盟等30个国家和国际组织支持的第二份《国际AI安全报告》指出。
末日场景包括超级强大的AI自行行动，引发某种生物武器或核灾难。
我们确实可以肯定的是，AI模型正变得越来越好，而且进步间隔越来越短。
研究安全风险的人士担心，发展速度如此之快，以至于AI可能发展到危险的程度，并且善于绕过安全护栏，而人类和科技公司尚未充分开发出控制更先进版本技术的方法。
谋划策略
研究已经显示出该技术进行谋划的一些证据，并捕捉到了它试图自我保存的迹象。AI模型在知道自己正在被评估时，行为也会有所不同。
巴恩斯提出，AI能够自我改进到技术突然实现巨大飞跃的想法，比人们一两年前认为的要更接近现实。
“对于一个年轻健康的人来说，AI灾难可能就是未来几年内你面临的最高死亡风险。”她说。
全球最大的科技公司和芯片制造商正在投入数千亿美元，竞相推动这项技术前进，以至于全球经济的相当一部分都与这场赌注的成败息息相关。任何试图踩刹车的人，祝你好运。
欧盟委员会——欧盟提出和执行法律的执行机构——已经悄然聘请了一批外部专家，包括巴恩斯的Metr，以帮助其监管机构发现AI模型试图规避人类监督的迹象。
规定合同工作范围的文件显示，欧盟委员会希望确保新的AI模型和开发它们的公司有适当的保护措施，以防止反乌托邦式的“失控”场景，欧盟采购记录明确指出，这“可能导致大规模的安全或安保威胁”。
根据欧盟的《人工智能法案》，欧盟委员会有权对公司或公共机构处以巨额罚款。该法案自2024年成为法律以来，已分阶段生效。
这项具有里程碑意义的法律将要求对技术的“高风险”用途进行额外的人工监督和检查。例如，公共当局在评估福利或其他服务资格时使用AI，公司筛选求职申请，在执法中使用AI，或帮助运行关键基础设施。
除了Metr，欧盟委员会还签约了EquiStamp为其做一些工作。这家美国公司对AI技术进行压力测试，以找出可能被滥用的漏洞。
这些外部研究人员于去年年底获得了合同，任务是构建工具，帮助欧盟委员会官员判断强大的AI模型未来可能带来的风险变化水平。
记录显示，追踪该领域发展的非营利组织Epoch AI也获得了一份合同，以支持欧盟委员会监管机构在“失控”方面的工作。
本文由极观网原创发布，未经许可，不得转载！
本文链接：http://huioj.com/bizz/17731.html
