AI会让人类出局吗？
谁也不知道我们离那些足以摆脱人类控制的AI智能体有多远。最后期限的不确定意味着最好现在就开始行动。
责任编辑：朱力远
加州大学伯克利分校AI研究员迈克尔·科恩。
迅猛发展的AI已经展示出了巨大的潜力，但另一方面，从2023年初开始，一些科学家和研究人员多次公开呼吁，人们关注先进AI可能给人类和社会带来的严重风险。
一些特别的风险来自那些功能强大的通用AI模型。由于对它们的能力缺乏充分了解，且难以预测，潜在的主观误用和意外的失控产生的风险尤其不可忽视。为系统性地探讨先进AI风险的治理，2024年4月，加州大学伯克利分校AI研究员迈克尔·科恩（Michael K. Cohen）等人在《科学》杂志专门发表研究，分析了先进AI的独特风险问题，及其可能的治理架构。在他看来，相比被设计用来执行即时任务的AI，那些有长远规划的智能体，为了得到特定的奖励，可能会在很长的一段时间里锚定特定目标，不断追求奖励的最大化，从而带来不可预知的风险，甚至在某个时间将人类踢出局。
AI真的会导致诸如文明毁灭之类的结局吗？我们又该如何理解和应对AI在当前和未来可能给人类带来的风险？最近，迈克尔·科恩接受南方周末记者专访，对相关问题进行了分析。
科幻故事可能成真
南方周末：早在2023年2月，你就曾提出，我们应该禁止人们训练非常先进的人工智能体，但因为AI还没有这么先进，所以这样的规定并不是必须马上施行。然而，AI一直在快速发展，你觉得我们现在距离那些足够先进且危险的人工智能体还有多远？
迈克尔·科恩：可惜，我也不知道我们离那些先进到足以摆脱人类控制的AI智能体还有多远。不过，这并不意味着现在开始专注于降低风险显得为时过早。最后期限不确定其实意味着我们最好现在就开始行动。
南方周末：那你现在是怎么使用AI应用的呢？会有什么风险方面的担忧吗？
迈克尔·科恩：我经常向AI应用Claude问一些难搜索的问题答案，比如“从事件视界落入黑洞需要多长时间？”或者“加州政府通过了哪些不同的决议？”我也经常让Claude帮我校对文件。我觉得它帮助我更有效地润色了文字。至于风险方面的担忧，我姑且相信Anthropic公司会将我和Claude的谈话保密，不会拿来训练未来的模型吧。我宁愿AI系统在不久的将来不要太了解我，但我觉得这种想法可能注定要落空。
南方周末：据你观察，现有的AI智能体总体上有哪些风险？
迈克尔·科恩：对于今天任何特定的风险，政府大都有能力通过法律，迫使人们改变AI的训练和部署方式。但有一个例外，那就是开源AI。开源AI系统是对社会的永久性添加。政府不可能追
登录后获取更多权限
