汽车安全◈✿★，凯发K8国际◈✿★。以ChatGPT为代表的新一代人工智能技术正掀起人工智能领域的新一轮革命热潮◈✿★，其在为科技发展和产业变革提供强大驱动力的同时美尔雅期货博易大师◈✿★，也将给人类社会的法律法规◈✿★、道德伦理◈✿★、隐私保护◈✿★、社会治理等方面带来一系列的风险挑战◈✿★。首先介绍了新一代人工智能面临的法律风险◈✿★、数据安全风险美尔雅期货博易大师◈✿★、算法模型攻击风险◈✿★、意识形态风险4个方面的安全风险◈✿★，其次调研并比较了我国凯发K8◈✿★、美国及欧盟关于新一代人工智能的治理现状◈✿★，最后从建立健全政策法规体系◈✿★、加强道德伦理规范建设◈✿★、构建风险评估与应急处置机制◈✿★、加强国际合作4个方面为我国新一代人工智能的治理提出对策建议◈✿★。

　　人工智能（Artificial Intelligence◈✿★，AI）是现代计算机科学的重要分支◈✿★，是综合运用计算机技术◈✿★、信息技术美尔雅期货博易大师凯发K8◈✿★、哲学◈✿★、心理学◈✿★、控制理论等众多学科来研究并开发用以模拟◈✿★、延伸及扩展人的智能的理论方法和技术应用的新兴科学◈✿★。自1956年McCarthy等人为解决人工神经网络结构复杂问题◈✿★，在美国达特茅斯学院第一次提出“人工智能”概念至今◈✿★，人工智能已经历了60多年的发展演进◈✿★。在这60多年间◈✿★，人工智能主要经历了3个发展阶段◈✿★：第一个阶段是 1956—1969年◈✿★，被称为人工智能发展形成期◈✿★。在这期间◈✿★，1957年◈✿★，Rosenblatt研发出了第一台感知器◈✿★，用于开展机器学习的研究◈✿★；1960年◈✿★，McCarthy推出了人工智能程序设计语言Lisp◈✿★，用于对符号表达式进行加工和处理◈✿★；1963年◈✿★，Newell推出了问题求解程序◈✿★，开辟了计算机程序模拟人类思维的发展道路◈✿★；1969年◈✿★，第一届国际人工智能联合会议在美国斯坦福大学召开◈✿★，意味着人工智能得到了国际认可◈✿★。第二个阶段是1970—2010年◈✿★，被称为人工智能快速成长期◈✿★。在这期间◈✿★，1974年◈✿★，Werbos 首次提出针对神经网络的反向传播（Back Propagation◈✿★，BP）算法◈✿★；1980年◈✿★，美国卡内基梅隆大学推出了第一套专家系统“XCON”◈✿★，该系统能够模拟人类专家解决特定领域的问题◈✿★；1984年◈✿★，在国际先进人工智能协会上◈✿★，人工智能专家预测“AI之冬”即将到来◈✿★，3年后随之发生了AI泡沫的破灭◈✿★；1997年◈✿★，IBM公司的超级计算机“深蓝”击败了世界国际象棋冠军卡斯帕罗夫◈✿★，重新点燃了人们对于人工智能的希望◈✿★。第三个阶段是2011年及以后◈✿★，被称为人工智能深入发展期◈✿★。在这期间◈✿★，大数据的持续积累为人工智能提供了规模空前的训练数据◈✿★，人工神经网络和深度学习技术的加速推进为人工智能的进一步突破提供了可能◈✿★，传统人工智能正在向新一代人工智能迈进◈✿★，相较于传统人工智能局限于案例算法◈✿★，主要用于解决确定性问题◈✿★，新一代人工智能的显著优势在于能够在不断学习的过程中解决新出现的不确定性的问题◈✿★。2016年◈✿★，Google的AlphaGo完胜世界围棋冠军李世石◈✿★，将人工智能发展推向了一个新的高度◈✿★；2022年◈✿★，OpenAI发布的ChatGPT则将人类对人工智能的关注提升到了前所未有的高度◈✿★，标志着人工智能在自然语言处理◈✿★、AI大模型领域取得了突破性进展◈✿★，在人工智能发展历程中具有里程碑意义◈✿★。

　　当前◈✿★，人工智能技术的先进性◈✿★、复杂性及其快速发展等特性为人类对人工智能的治理带来了前所未有的挑战◈✿★，责任主体不明确◈✿★、应用边界不清晰◈✿★、技术扩散难管控等治理困境亟待解决◈✿★。因此◈✿★，全面评估人工智能对国家安全治理带来的风险挑战◈✿★，并依法规范和引导人工智能技术的健康有序发展◈✿★，已成为业界和各国政府部门重点关注的方向◈✿★。本文以人工智能治理为视角◈✿★，在分析人工智能面临的各类安全风险问题的基础上◈✿★，阐述国内外人工智能的治理现状◈✿★，并为我国新一代人工智能的治理提出相关对策建议◈✿★。

　　新一代人工智能技术的迅猛发展美尔雅期货博易大师◈✿★，在为人类社会发展带来巨大红利的同时◈✿★，其所导致的一系列安全风险事件也频频发生◈✿★，人类在人工智能治理方面正面临诸多挑战◈✿★，本文将从以下4个方面对新一代人工智能治理面临的安全风险问题进行分析◈✿★。

　　新一代人工智能技术的不断提升在给人类社会带来深刻影响的同时◈✿★，也给现行社会带来诸多方面的法律风险◈✿★。一是人工智能的法律主体责任不明确◈✿★。以目前热度较高的无人驾驶为例◈✿★，如果无人驾驶的汽车与有人驾驶的汽车发生交通事故◈✿★，在进行交通事故责任认定时◈✿★，现行法律法规是否适用于人工智能◈✿★，人工智能是否具备现行法律意义上的主体责任◈✿★，都是值得思考的问题◈✿★。二是人工智能的法律侵权行为难以界定◈✿★。人工智能在使用过程中通常需要抓取◈✿★、使用及公开大量外部数据信息◈✿★，如果生成的信息属于未经著作权人授权的影视◈✿★、文学◈✿★、音乐等作品内容◈✿★，则可能侵犯他人知识产权◈✿★，如果生成的信息属于未经他人授权的肖像信息美尔雅期货博易大师◈✿★，则可能侵犯他人的肖像权◈✿★，如果生成的信息涉嫌故意捏造虚假事实侮辱他人人格◈✿★，则可能侵犯他人的名誉权等◈✿★。人工智能在使用过程中因具有不断学习◈✿★、独立决策及自主行为的能力◈✿★，当其发生诸如上述侵权行为时◈✿★，难以判断侵权行为是其初始算法设置目的还是其后续自行决断所致◈✿★。

　　人工智能的判断决策离不开基于海量数据的学习训练◈✿★，人工智能在对数据收集和使用的过程中不可避免地面临诸多安全风险◈✿★。一是人工智能在进行数据采集时经常会强制读取◈✿★、收集外部用户的隐私数据◈✿★。这些隐私数据可能包括用户的身份信息◈✿★、兴趣爱好◈✿★、行为习惯◈✿★、地理位置◈✿★、联系方式等◈✿★，甚至可能在用户不知晓的情况下偷偷收集与所提供服务不相关的其他数据◈✿★，而这些被收集的数据最终作何使用也不得而知◈✿★。二是人工智能对数据进行窃取攻击◈✿★。主要表现在人工智能通过关联分析◈✿★、推理演算◈✿★、逆向还原等方式将收集到的训练数据恢复出尽可能多维度的用户隐私信息◈✿★。例如◈✿★，根据用户人脸图像恢复出用户的姓名◈✿★、性别◈✿★、年龄◈✿★、职业等隐私信息◈✿★。人工智能公司Clearview AI 的数据库中约有上百亿张人脸数据◈✿★，而仅需一张人脸照片◈✿★，就可以检索出全网所有的相关图片◈✿★，而且可以关联出与人脸相匹配的个人详细信息◈✿★，包括个人国籍◈✿★、出生信息◈✿★、教育经历◈✿★、手机号码◈✿★、电子邮件等◈✿★。三是人工智能在没有获得数据归属方同意的情况下◈✿★，对所收集到的数据进行不正当使用◈✿★，以获取非法利益◈✿★。例如◈✿★，消费贷泛滥等现象导致用户的权益受到很大影响◈✿★。

　　新一代人工智能的核心在于其利用算法和模型实现模仿人类智能的推理决策◈✿★，人工智能算法和模型在提供精确匹配◈✿★、更高效率推理决策的同时◈✿★，由于受到其训练数据偏差◈✿★、算法黑箱及算法和模型本身存在的技术漏洞等因素的影响◈✿★，可能导致其推理决策引发相关的安全威胁攻击◈✿★。一是模型窃取攻击◈✿★。针对具有较大商业价值和潜在商业优势的模型◈✿★，为了能避免向模型训练服务付费或者通过复制模型从中获取商业利益◈✿★，攻击者通过黑盒探测的方式反复测试目标模型的输入和输出◈✿★，以获得目标模型的相近功能或者达到重建目标模型的目的◈✿★。模型一旦被窃取◈✿★，攻击者可以通过白盒对抗攻击对在线模型实施进一步欺骗◈✿★，从而大幅提高攻击的成功率◈✿★。二是后门攻击◈✿★。攻击者在模型训练过程中植入后门◈✿★，这些后门一般由特定输入触发◈✿★，使得在特定情况下对模型的预测或者决策行为进行操控◈✿★，从而产生不正确的输出结果◈✿★。后门攻击极具隐蔽性◈✿★，主要表现在两个方面◈✿★：一方面◈✿★，后门攻击所注入的特定触发条件即中毒样本通常数量很少◈✿★；另一方面◈✿★，被攻击的模型在没有接收到触发条件时◈✿★，输出结果与正常情况下一样◈✿★，只有当接收到触发条件时才会输出攻击者预先设定的结果◈✿★。因此◈✿★，模型所有者很难通过模型的输出结果检测发现模型是否被攻击◈✿★。三是对抗样本攻击◈✿★。该攻击通过向模型输入数据中添加微小但有针对性的扰动来生成对抗样本◈✿★，使得模型在保持功能不变的情况下输出错误的分类或预测结果◈✿★。对抗样本攻击可分为无目标攻击和有目标攻击◈✿★，无目标攻击只是单纯地希望模型决策出现错误◈✿★，而有目标攻击则希望通过输入对抗样本形成定向决策◈✿★。

　　随着深度学习◈✿★、算法推荐◈✿★、自然语言处理等人工智能技术的深入发展和应用◈✿★，人工智能已成为当前意识形态斗争的重要手段◈✿★，其正重塑着网络意识形态信息产生和传播的方式◈✿★，尤其是以ChatGPT为代表的新一代人工智能大模型在强算法◈✿★、大算力◈✿★、大数据等方面的高门槛◈✿★，使得少数具备技术优势的西方国家能够使用人工智能大模型输出具有本国意识形态偏好的内容◈✿★，通过潜移默化地影响别国民众的政治认识和政治选择的方式◈✿★，达到对别国的意识形态隐蔽渗透◈✿★，间接把控别国政治走势◈✿★，恶意侵犯别国政权管理的目的凯发K8◈✿★。例如◈✿★，在新一代人工智能时代◈✿★，深度伪造技术的诞生和应用使得虚假信息的制造变得更加容易◈✿★，虚假信息更加真实逼真◈✿★，传统的“有图有真相”成为过去式◈✿★，“眼见不一定为实”越发普遍◈✿★，深度伪造技术在伪造一国政治人物的照片◈✿★、声音◈✿★、视频等方面的应用◈✿★，可以轻松动摇该国民众的政治信任◈✿★，为该国意识形态安全带来严重威胁◈✿★。

　　由人工智能安全风险所引发的治理挑战是当前世界各国面临的共同难题◈✿★，近年来◈✿★，世界各国政府正加快人工智能战略布局◈✿★，陆续出台人工智能相关战略政策和产业规划◈✿★，通过不断完善顶层设计来规范并推动人工智能健康有序发展◈✿★。本文主要对我国◈✿★、美国及欧盟的人工智能治理现状进行分析◈✿★，为我国人工智能后续更好治理提供借鉴◈✿★。

　　美国作为人工智能技术领先的国家◈✿★，向来重视对人工智能应用的监管◈✿★，其凭借长期的技术发展基础与政策制定经验来构建本国的人工智能治理框架◈✿★。一方面◈✿★，美国强调人工智能治理的前提是保障和鼓励人工智能技术的发展与创新◈✿★，以确保美国在全球人工智能竞争方面的优势◈✿★。对于人工智能发展中可能引发的风险挑战◈✿★，其监管政策更倾向于包容和开放的态度◈✿★。美国国家科学技术委员会于2016年先后发布了《为人工智能的未来做好准备》《国家人工智能研究与发展战略规划》两份重要文件◈✿★，将人工智能提升至国家战略层级◈✿★，确立了经济◈✿★、技术◈✿★、军事等多维的政府指导体系◈✿★，并不断提供政策支持◈✿★；2020年◈✿★，美国联邦政府发布的《人工智能应用的监管指南》强调了对人工智能发展创新的促进◈✿★，优先考虑避免通过政策手段“一刀切”来阻碍人工智能的技术和产业发展◈✿★。另一方面◈✿★，美国通过从政府到企业全方位参与监管的方式来加强对人工智能的治理◈✿★，虽然尚未在联邦层面形成统一的人工智能立法监管◈✿★，但形成了依靠部门监管◈✿★、地方自治及行业规则等多方位的治理体系◈✿★。2022年◈✿★，美国国防部发布了《负责任的人工智能战略和实施途径》战略文件 ◈✿★，明确国防部实施人工智能战略的基本原则和主体框架◈✿★；2023年◈✿★，美国商会技术合作中心发布了《人工智能委员会报告》◈✿★，提出应当构建一个基于风险的◈✿★、协调的◈✿★、分布式的人工智能治理框架◈✿★，以助于美国解决人工智能的风险挑战◈✿★，从而充分发挥人工智能的巨大应用价值◈✿★。

　　欧盟一直注重人工智能的治理实践◈✿★，其在政策立法方面始终走在前列◈✿★，相关法律法规体系几乎涵盖了人工智能全过程的安全治理◈✿★。2018年◈✿★，欧盟发布了《欧盟人工智能战略》◈✿★，提出“以人为本”的人工智能发展路径凯发K8◈✿★，旨在提升欧盟人工智能科研和产业能力◈✿★，应对人工智能在法律◈✿★、伦理◈✿★、技术等方面的挑战◈✿★；2019年◈✿★，欧盟委员会的人工智能高级别专家组◈✿★、欧洲议会未来与科学和技术小组先后发布了《可信人工智能伦理指南》和《算法责任与透明治理框架》◈✿★，两份文件为《欧盟人工智能战略》所提“建立适当的伦理和法律框架”要求的相应落实◈✿★，为此后人工智能相关治理规则的制定提供了重要参考◈✿★；2020 年◈✿★，欧盟发布的《人工智能白皮书——通往卓越和信任的欧洲路径》 提出◈✿★，欧洲需建立卓越和可信任的人工智能生态系统◈✿★，构建基于分级风险的人工智能监管框架◈✿★；2021年欧盟发布的《人工智能法案》提案旨在为人工智能技术的发展与应用建立统一标准◈✿★，并对人工智能的应用按照风险层级进行了法律规范◈✿★。

　　我国的人工智能治理一贯秉承发展与安全并行的思路◈✿★，以安全治理助推产业发展◈✿★，我国人工智能治理正逐渐构建综合化◈✿★、精细化的治理体系◈✿★，政府陆续出台了一系列相关政策文件◈✿★。2017年国务院出台的《新一代人工智能发展规划》◈✿★，提出要开展人工智能在民事与刑事责任确认◈✿★、信息安全利用◈✿★、隐私和产权保护等方面的法律问题研究◈✿★，明确相关法律主体和问责制度◈✿★，构建保障人工智能健康有序发展的法律法规和道德伦理框架◈✿★；2019年国家新一代人工智能治理专业委员会出台的《新一代人工智能治理原则——发展负责任的人工智能》◈✿★，以“发展负责任的人工智能”为主题◈✿★，提出了人工智能治理的框架和行动指南◈✿★，强调了公平公正◈✿★、尊重隐私◈✿★、安全可控◈✿★、共担责任◈✿★、敏捷治理等原则◈✿★；2020年全国人大常委会立法工作计划首次提及人工智能立法规制◈✿★，要求加强对人工智能等新技术领域相关法律问题的研究◈✿★；2021年国家新一代人工智能治理专业委员会出台的《新一代人工智能伦理规范》◈✿★，充分考虑当前社会有关隐私◈✿★、偏见◈✿★、公平◈✿★、歧视等伦理关切◈✿★，针对人工智能全生命周期提出了6项基本伦理规范和4 项特定伦理规范◈✿★，为从事人工智能相关活动的主体提供伦理指导◈✿★；2022年出台的《深圳经济特区人工智能产业促进条例》是我国首部人工智能产业专项立法◈✿★，提出了创新产品准入机制◈✿★，对于国家◈✿★、地方尚未制定标准但符合国际先进产品标准或者规范的低风险人工智能产品和服务◈✿★，允许开展先行先试◈✿★；2023年国家互联网信息办公室等7部门联合发布了《生成式人工智能服务管理暂行办法》◈✿★，对生成式人工智能服务实行包容审慎和分类分级监管◈✿★，明确了提供和使用生成式人工智能服务的总体要求◈✿★。我国关于新一代人工智能治理的相关政策如表2所示◈✿★。

　　新一代人工智能的快速发展催生了一系列的新产业和新应用◈✿★，但是对于新一代人工智能的治理尚存在监管不足的问题◈✿★，我国在把握新一代人工智能前沿技术发展机遇的同时◈✿★，应做好相应的治理研究◈✿★，更好地统筹安全与发展◈✿★。针对新一代人工智能技术发展和产业应用过程中面临的各类风险问题◈✿★，我国应提前谋划◈✿★、整体布局◈✿★，从建立健全政策法规体系◈✿★、加强道德伦理规范建设◈✿★、构建风险评估与应急处置机制◈✿★、加强国际合作等方面有效推进我国新一代人工智能的治理◈✿★。

　　我国《新一代人工智能发展规划》《新一代人工智能治理原则——发展负责任的人工智能》《新一代人工智能伦理规范》《生成式人工智能服务管理暂行办法》等法律法规的相继出台为新一代人工智能的算法推荐◈✿★、深度合成等建立起了初步的监管规则◈✿★，但随着新一代人工智能技术发展和产业应用的日新月异◈✿★，现有政策法规还不足以完全实现对其全方位的监管◈✿★，后续还需要建立针对新一代人工智能完整的政策法规体系◈✿★。一是要规划好顶层设计◈✿★，在建立健全国家层面人工智能法规框架的同时◈✿★，在人工智能技术细分领域进行长远规划◈✿★，应制定统筹兼顾◈✿★、适应性强◈✿★、落地性好的政策法规和行业标准◈✿★，所建立的政策法规既要有助于监管机构规范化◈✿★、科学化管理人工智能的应用和发展◈✿★，又要促进人工智能技术的研究方和应用方之间积极合作◈✿★、共享成果◈✿★，共同构建开放式的应用场景◈✿★，不断推动人工智能技术应用的普及◈✿★。二是所制定的政策法规要统筹好安全和发展◈✿★，突出数据安全和隐私保护◈✿★，对人工智能应用过程中数据的采集◈✿★、传输◈✿★、处理◈✿★、存储等操作要规范化管理◈✿★，政策法规不仅要支撑好对人工智能所使用数据的分类分级◈✿★、脱敏防护◈✿★、漏洞排查等◈✿★，更要提前对未来可能面临的风险趋势和防范措施进行研判◈✿★、谋划◈✿★。

　　人工智能的快速发展势必会对人类传统道德伦理体系产生不可避免的影响凯发K8◈✿★，因此人工智能的道德伦理治理与法律治理具有同样的重要性◈✿★。未来◈✿★，我国应从以下方面加强人工智能道德伦理建设◈✿★：一是制定和完善人工智能道德伦理规范准则◈✿★，制定人工智能从业人员和使用人员的道德规范及行为准则◈✿★，明确人工智能从业人员和使用人员的权利及义务◈✿★，为人工智能的健康发展提供制度保障◈✿★；二是加强对人工智能从业人员的道德伦理教育培训◈✿★，使得人工智能从业人员能够将正确的道德伦理观融入人工智能的设计◈✿★、研发◈✿★、使用等全生命周期过程◈✿★，加强对算法设计◈✿★、数据采集等的伦理审查◈✿★，避免人工智能被滥用和恶意使用◈✿★，最大限度确保人工智能使用的公平性和非歧视性◈✿★；三是明确人工智能相关主体的责任划分◈✿★，人工智能道德伦理通常会涉及较多的责任主体◈✿★，责任归属的模糊不清会导致对人工智能道德伦理审查难度的增加◈✿★，因此明确相关主体责任划分◈✿★，并健全人工智能在设计◈✿★、研发◈✿★、使用等过程中的追责制度◈✿★，有利于更好防范人工智能可能存在的道德伦理问题◈✿★。

　　针对人工智能系统本身◈✿★、人工智能的技术应用在法律风险◈✿★、算法安全◈✿★、隐私保护及道德伦理等方面可能存在的问题◈✿★，开展全方位的风险评估◈✿★，并且制订相应的安全保障方案及应急处置机制◈✿★。一方面◈✿★，对人工智能在设计◈✿★、研发◈✿★、使用等全生命周期过程中涉及的相关人员◈✿★、系统平台◈✿★、数据使用◈✿★、监督管理等方面潜在的安全隐患进行风险评估◈✿★，并将评估结果进行量化◈✿★，然后根据风险值对风险实施不同等级的安全防范措施 ◈✿★；另一方面◈✿★，构建并完善人工智能应急响应处置机制◈✿★，机制应能做到提前预防◈✿★、快速响应和有效处置◈✿★，并模拟真实风险场景开展应急处置演练◈✿★，当出现人工智能重大安全风险时◈✿★，可以迅速启动应急响应处置机制◈✿★，及时进行有效应对◈✿★，最大限度地降低安全风险所带来的影响◈✿★。

　　人工智能技术的复杂多样性使得其所带来的安全问题具有全球属性◈✿★，人工智能安全问题已成为世界各国需要共同面对的风险挑战◈✿★，任何国家很难通过“单打独斗”策略实现理想的治理效果◈✿★，因此需要世界各国联合起来集聚智慧力量◈✿★，共享信息资源◈✿★，共同解决人工智能安全风险难题◈✿★。习在第三届“一带一路”国际合作高峰论坛演讲中提出了《全球人工智能治理倡议》◈✿★，围绕人工智能的发展◈✿★、安全◈✿★、治理3个方面◈✿★，系统地阐述了我国在人工智能治理方面的多项主张◈✿★。一方面◈✿★，我国应充分利用在人工智能相关领域取得的技术优势◈✿★，积极参与涉及技术规范◈✿★、技术框架◈✿★、技术服务等方面的国际标准制定工作◈✿★，并逐步推动我国人工智能技术标准的国际化◈✿★；另一方面◈✿★，我国应坚持多边主义◈✿★，在符合各国利益的前提下◈✿★，提倡建立人工智能国际监管机构◈✿★，负责对人工智能的开发及应用进行监管◈✿★，以便最大限度地发挥人工智能的效益◈✿★。

　　人工智能作为驱动第四次工业革命的核心技术◈✿★，已成为世界各国战略竞争的前沿阵地◈✿★，未来对于人工智能的发展应坚持共建共享◈✿★、安全可控的原则◈✿★。当前◈✿★，世界主要国家和地区已陆续在人工智能监管治理领域提前布局◈✿★，积极研究探索深度防御◈✿★、隐私保护◈✿★、风险评估◈✿★、可解释人工智能等人工智能安全技术凯发K8◈✿★，我国也应抢抓人工智能发展契机◈✿★，在推动人工智能创新发展的同时加强对人工智能的监管治理◈✿★，以确保我国能够抢占人工智能领域的制高点◈✿★。本文在充分调研新一代人工智能安全风险的基础上◈✿★，深入分析美欧及我国人工智能治理现状◈✿★，以期为规范和完善我国人工智能治理提供新的思路◈✿★。

　　引用格式◈✿★：沈传年, 王心丹, 陈曲.新一代人工智能的安全风险与治理研究[J].信息安全与通信保密 ,2024(7):43-54.

　　陈曲◈✿★，通信作者◈✿★，男◈✿★，硕士◈✿★，工程师凯发K8◈✿★，主要研究方向为人工智能信息安全◈✿★、数据安全等领域协同综合治理◈✿★。

　　选自《信息安全与通信保密》2024年第7期（为便于排版◈✿★，已省去原文参考文献