要文快报！AI安全需未雨绸缪 月之暗面CEO杨植麟谈长期布局

AI安全需未雨绸缪 月之暗面CEO杨植麟谈长期布局

北京讯（记者 张楠楠）6月14日，在2024北京智源大会上，月之暗面CEO杨植麟与百川智能CEO王小川、智谱AI CEO张鹏、面壁智能联合创始人兼CEO李大海共同出席“尖峰对话：通往AGI之路”环节，探讨了人工智能安全等话题。

杨植麟表示，AI安全非常重要，虽然它可能不是当前最紧迫的问题，但却是需要我们提前去准备的。“随着模型的不断优化和Scaling Law（尺度定律）的发展，每N个月算力乘以十倍，智能水平也会得到提升，这是一个逐渐适应的过程。”他指出，AI安全不一定是当前最大的矛盾或者最紧急的事情，但肯定是长期储备。

杨植麟认为，在AI安全方面，最重要的是要关注以下两个方面：

• **模型的鲁棒性。**模型可能会因为用户本身存在恶意意图，通过prompt（提示词）让模型去做一些本来不应该做的事情。因此，需要提高模型的鲁棒性，使其能够抵御恶意攻击。
• **模型的动机。**模型本身是否有自己的motivation（动机），这与训练方式相关。需要在模型的底层去注入例如AI的“宪法”、功能去框定其行为，无论用户给什么指示，都不会违背这个“宪法”。

杨植麟强调，AI安全是一项复杂的系统工程，需要产学研各界共同努力，从技术、制度、伦理等多个层面构建起全方位的安全体系。

关于月之暗面

月之暗面成立于2021年，是一家专注于大模型研发和应用的公司。公司拥有业界领先的大模型技术，并已在多个领域落地应用，包括智能客服、内容生成、辅助决策等。

媒体联系

张楠楠

月之暗面

[移除了电子邮件地址]

百川智能CEO王小川：AI安全尚无近期威胁 现阶段应聚焦能力提升

北京讯（记者 张楠楠）6月14日，在北京智源大会上，百川智能CEO王小川发表演讲，谈及了AI安全问题。他表示，**现阶段的AI能力还很弱，**远达不到能够颠覆人类的程度，因此近期不存在安全问题。王小川认为，AI安全问题的关键在于能力，只有当AI能力发展到足以对人类社会造成重大影响时，安全问题才会真正凸显。

王小川指出，当前的AI主要应用于一些相对简单的场景，例如图像识别、语音识别、自然语言处理等，这些AI系统还无法进行复杂自主的思考和决策，因此很难对人类社会构成威胁。

**王小川强调，**与其担忧AI安全问题，不如集中精力提升AI能力。**他呼吁业界共同努力，**推动AI技术发展，让AI能够更好地服务于人类社会。

**除了王小川之外，**其他参会的嘉宾也对AI安全问题发表了各自的看法。**智谱AI CEO张鹏认为，**AI安全是一项长期挑战，**需要从技术、伦理、法律等多个方面入手进行综合治理。**月之暗面CEO杨植麟则表示，AI安全问题的核心是价值观问题，需要建立一套符合人类价值观的AI发展体系。

AI安全一直是备受关注的话题。**近年来，**随着AI技术的快速发展，**一些关于AI可能被滥用的担忧也不断涌现。**专家们呼吁，**业界应高度重视AI安全问题，**共同努力，确保AI技术能够安全可靠地应用于人类社会。