AI安全研究者掀起“末日概率”讨论 技术失控引担忧

　　美国人工智能公司Anthropic的三位研究人员近日表达了对失控AI可能在本十年内毁灭人类的担忧。虽然他们没有将AI描述为迫在眉睫的高级别威胁，但强调这项技术的发展速度远超预期，正加速滑向一个不可控的阶段。

　　Anthropic公司的研究员雅各布·考克森在社交媒体上宣布辞职，并表示过去三年里他在OpenAI和Anthropic从事AI预训练研究工作。他认为这两家公司都没有负起应有的责任，将来AI可能会毁灭所有人类。考克森指出，这些公司在自我改进型超级AI的研发中“拿我们的生命当赌注”，许多高管和资深研究人员私下也表达了同样的恐惧，认为没有任何其他人类活动会带来如此程度的危险。

　　针对考克森的说法，Anthropic公司的两名高管表示认同。该公司“对齐科学”团队负责人埃文·胡宾格表示，他们确实相信AI可能会杀死所有人类，未来十年内这种可能性超过10%。尽管Anthropic正在努力解决超级AI对齐问题，但目前还没有明确的解决方案。负责“可扩展监督”工作的塞缪尔·马克斯则表示，员工级别越高，担忧就越强烈。

　　报道还提到，包括OpenAI首席执行官在内的高层也表示，人工智能正加速进入一个令人恐惧且无法控制的阶段。这些公司警告称，它们的产品可能会危害甚至毁灭人类。不过，一些批评人士认为，这些公司是在炒作自家产品以抬高估值，并试图通过监管措施来巩固市场地位。然而，根据与这些公司内部人士的沟通情况，他们的惊慌与担忧情绪正在日益加剧。

　　值得注意的是，这些研究人员并不是在警告说AI是迫在眉睫的高级别威胁，而是强调技术发展速度远超预期，且很快将具备自我改进的能力。一旦这种情况发生，AI将变得更强大、更快，也更难以预测或控制。