瞭望 上海设立人工智能安全护栏
《上海市促进人工智能产业发展条例》的创新之处在于设立了“激发创新活力”的专门条款,对处于探索阶段的新业态给予一定的制度探索和试错空间
头部企业如腾讯、蚂蚁集团等互联网企业成立AI伦理委员会,建立定期审查机制;百度构建可信AI技术体系,参与全球规则对话……企业正逐步将治理要求转化为竞争优势,为上海AI治理打下坚实基础
“我用AI写文章,其中有些案例很好用,但没想到居然是胡编乱造的。”“我找AI帮我推荐楼盘,它说得有理有据,结果发现根本没有这个项目。”……这些用户反馈,反映出人工智能技术快速发展带来的治理难题。
随着AI大模型、生成式AI等技术在各领域的广泛应用,幻觉输出、数据偏见、隐私泄露等风险也在凸显。如何在使用AI技术提升效率的同时,确保其安全可靠运行,成为全球范围内亟待解决的重大治理课题。
作为中国人工智能产业高地,上海在AI治理领域率先探索,通过政策规范、企业协同与技术驱动,逐步构建起贯穿全生命周期的AI安全治理体系。从全国首部AI地方性法规的出台,到企业自主治理实践的创新,再到技术治理工具的研发,上海的探索为全国AI治理提供了重要参考。
人工智能的健康发展离不开制度保障。2022年10月,《上海市促进人工智能产业发展条例》(以下简称《条例》)正式施行,成为我国人工智能领域的首部省级地方性法规。这部法规,在制定过程中也曾面临诸多挑战。“当时国际上还没有一个国家专门针对人工智能进行立法,因为太难、太新了。”上海市人大财经委立法监督处处长张震回忆道。
该《条例》创新之处在于设立了“激发创新活力”的专门条款,对处于探索阶段的新业态给予一定的制度探索和试错空间。张震解释道:“在立法调研期间,从事AI研究的科研工作者反映,最大的困扰是缺乏明确边界。往往是成果披露后,才被告知违规。”为此,《条例》设立人工智能领域轻微违法行为免罚清单,为创新松绑。
此后,上海又相继出台《上海市推动人工智能大模型创新发展若干措施(2023—2025年)》《关于人工智能“模塑申城”的实施方案》等配套政策。2023年12月,国务院印发《全面对接国际高标准经贸规则推进中国(上海)自由贸易试验区高水平制度型开放总体方案》,进一步要求,围绕推动上海自贸区制度型开放,借鉴国际经验,研究建立人工智能技术的伦理道德和治理框架。
受访者认为,近年来,上海在人工智能应用尤其是在新应用的机遇探索上,取得了显著成果。人工智能治理方面,上海逐渐形成独特认知,体现了通过安全和治理实现稳健发展的理念。
在政策落地方面,上海网信部门相关负责人介绍,该部门深入发挥大模型合规指导服务中心作用,多次走进模速空间、模力社区等人工智能产业社区,主动为150余家企业上门提供一对一合规指导、备案辅导、现场受理等服务,先后组织开展了12场大规模法规政策宣贯和专场辅导会,对300余家重点企业提供了针对性的合规指导“服务包”,保障人工智能大模型产业的健康发展。
截至2025年6月底,上海已累计完成82款大模型备案,并完成了95款生成式人工智能应用登记。
头部科技企业展现出“技术+治理”的双轮驱动能力。以商汤科技为例,2023年,其发布了SenseTrust治理平台,提供从数据治理到应用治理的全链路解决方案。
该平台在三个关键环节表现突出:在数据预处理阶段,对有毒数据的检测率超过95%;在模型训练环节,能有效识别数据偏见;在应用部署时,其提供的“AI防火墙”工具对抗样本的综合检出率达到98%。
“治理不是创新的掣肘,而是确保不走弯路的指南针。”商汤副总裁、AI伦理与治理委员会主席张望认为,AI治理既能引导技术研发和产品开发走向正确的方向,也能够及时制止AI创新往错误的方向发展。该公司还积极参与国内外标准制定,主导编制200余项国际国内标准,并成为新加坡监管机构IMDA旗下-“AI VerifyFoundation”的成员单位,体现了其在合规建设方面的探索。
另有大模型企业从技术源头入手提升安全性。在MiniMax稀宇极智总编辑、副总裁彭韬看来,底层模型能力的提升是AI安全治理的根本。该公司通过应用线性注意力机制混合MoE架构,使新版模型的幻觉率显著降低。此外,MiniMax采用“技术治理技术,模型对抗模型”的安全治理思路,研发专门的安全审核模型进行内容过滤。
“安全合规正从外部要求转化为企业内生动力。”彭韬表示。这一观点也得到了行业普遍认同。头部企业如腾讯、蚂蚁集团等互联网企业成立AI伦理委员会,建立定期审查机制;百度构建可信AI技术体系,参与全球规则对话……企业正逐步将治理要求转化为竞争优势,为上海AI治理打下坚实基础。
技术适配性不足是首要难九游娱乐-官方入口题。“现有治理手段主要针对大语言模型,对多模态模型、Agent应用等效果有限。”彭韬说,更棘手的是,随着人工智能技术向AGI(通用人工智能)发展,可能出现全新的风险类型,现有的治理框架存在失效风险。
对此,彭韬建议要强化技术驱动的治理工具研发,完善“AI治理AI”的模式,“相比于传统产业,AI领域的技术迭代迅速,应考虑利用AI的能力赋能AI治理,‘用魔法打败魔法’。”
微软亚洲研究院全球研究合伙人谢幸认为,应进一步完善人工智能评测标准体系,使人工智能始终与人类价值观保持一致。
记者了解到,谢幸所在的微软亚洲研究院正开发构建“价值观罗盘”,尝试将人类伦理标准转化为机器可识别的参数。
此外,跨学科人才短缺制约治理深度。谢幸发现,AI企业中同时具备技术和社会科学背景的治理人才占比较低。这种人才结构失衡,导致伦理治理研究难以深入,特别是在价值观对齐、算法公平性等前沿领域,缺乏既懂技术又懂伦理的复合型人才。
针对这一痛点,上海多所高校尝试创新培养模式。例如,上海交通大学凯原法学院开设了“人工智能治理与法律”微专业;复旦大学联合浙江大学、南京大九游娱乐-官方入口学、上海交通大学、中国科学技术大学共同建设“AI+X”微专业项目。这些探索旨在打破传统学科与人工智能技术的学科壁垒,通过多学科融合教学,培养具有跨学科思维和综合能力的专业人才。
“人工智能的治理体系适用于‘木桶原理’,任何一块短板都会影响整体效果。”上海市人工智能行业协会秘书长钟俊浩认为。随着技术迭代演进,上海将继续完善政策、技术、伦理三位一体的治理体系,在确保安全的前提下充分释放创新活力,为AI治理贡献“上海方案”。■返回搜狐,查看更多