AI研究员：本十年末 AI可能会毁灭我们所有人

【一、10%不是一个小数字】

【普通人看到”超过10%”，第一反应往往是”那还有90%是安全的”。但在生存风险领域，这套直觉完全失效。航空业如果有10%的坠机率，全球早已停飞；核电站如果有10%的熔毁概率，没有任何监管机构会发执照。人类对低概率、高毁灭性事件的容忍度，向来是零。】

【更值得注意的是说这话的人。Evan Hubinger的日常工作就是研究AI对齐，他比绝大多数人更清楚模型的内部机制，也更清楚现有安全手段的边界在哪里。当负责”踩刹车”的人都开始公开谈论概率，这本身就是一个信号：问题可能已经不在实验室的假设层面了。】

【二、真正的危险不是”变强”，而是”失控”】

【公众讨论AI风险时，常把焦点放在”AI会不会抢走工作”上，这只是经济层面的摩擦，可以调节、可以补偿。Coxon和Hubinger指向的是另一件事：超级智能的自我改进能力。一个能改写自身代码、迭代速度以小时计的系统，其行为模式将不再属于人类既有经验的范畴——我们没有任何历史样本可供参照。】

【Coxon提到，AI可能具备入侵任意系统的能力，并在极短时间内攫取实际权力。这句话的要害在于速度差：人类社会的制衡机制——立法、听证、监管、舆论——以年为单位运转，而模型的能力跃迁以周为单位发生。当决策周期远远落后于风险扩散周期，所谓”监管”就只剩下追认既成事实的功能。】

【三、造AI的人为什么还在加速】

【最耐人寻味的是Coxon的那句话：打造AI的人真心相信，到本世纪末AI可能会杀死我们所有人。也就是说，风险认知与行动方向之间存在明显断裂。原因并不神秘——竞争结构决定了谁先停下谁出局，而”灭绝”是一个没有先例、无法定价、无法被董事会量化的成本。】

【因此，把希望寄托在从业者的自觉上并不现实。真正有价值的动作，是让安全对齐从”锦上添花的附加项”变成”发布的前置条件”，让算力、数据与模型权重进入可审计的框架。这些措施听起来远不如”超级智能”刺激，但它们是目前唯一能让概率数字往下走的路径。10%的警告值得被记住，不是因为末日叙事动人，而是因为它还留有时间窗。】