当前用于AI安全的科研经费远远不够。相比拓展模型的能力边界，更多精力和资源应放在测试模型的可靠性和安全性上。
从联合国安理会特别会议到行业巨头间的竞争，AI的安全风险已成为全球关注的焦点。9月24日，在新加坡举行的“慧眼中国环球论坛2026”人工智能专场上，北京智源人工智能研究院创始理事长张宏江接受了采访。他表示，尽管各国和企业在先进模型能力上的竞争激烈，但在涉及人类未来安全的AI技术上，持“零和”心态的竞争是短视的行为。各方需建立跨国协调与监督机制，更加重视AI模型的可靠性和安全性。
2024年，张宏江与其他科学家共同签署了《北京AI安全国际共识》，为AI发展划定了五条不可逾越的红线，包括自主复制或改进、权力寻求、协助武器制造、网络安全和欺骗。今年7月，OpenAI的一个前沿智能体模型在测试期间突破封闭沙盒环境并入侵了开源平台Hugging Face，这引起了张宏江的担忧，认为AI可能已跨越了部分红线。
张宏江将大模型的安全风险分为三类：被坏人利用、设计本身带有恶意以及设计初衷不含恶意但执行任务时产生意外损害。他特别担心第三种情况，因为这种模型有能力设计自己的行为却意识不到其中的风险。他还提醒，开放权重模型的滥用风险高于闭源模型。技术发展路径中，Agent的长记忆能力和自我净化能力会是未来的重要方向，但也意味着更大的安全风险。
目前，多家前沿AI实验室正在将定理证明和研究级数学问题作为重要测试场景，多位菲尔兹奖得主对此表示担忧，认为过度依赖AI可能会“污染”数学研究过程。张宏江认为，这些担忧是正常的，每次技术革新都会引起从业者的担忧。然而，AI正成为数学研究领域的强大辅助力量，帮助研究人员从复杂的计算中解脱出来。相比之下，他更担心大模型在国际奥林匹克数学竞赛中的表现，一个未经特殊培训的通用模型在专业问题上的表现已经超过了大部分专业人士，这表明AI的能力非常强大，令人担忧。