【专题报道】人工智能发展背景下的网络安全——专访联合国网络安全与网络犯罪问题高级顾问吴沈括
法律与预防犯罪
今年3月，联合国大会通过了一份具有里程碑意义的决议，强调需要制定安全、可靠和值得信赖的人工智能系统标准，以促进数字化转型，并确保公平获取人工智能系统。《联合国新闻》邀请到了曾亲历这份决议草案磋商过程的联合国网络安全与网络犯罪问题高级顾问、北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括，请他来聊一聊人工智能快速发展背景下的网络安全问题，以及未来的全球人工智能治理。请听《联合国新闻》实习记者王晓文对于吴沈括的专访。
联合国新闻：我们注意到之前在2018、2019年的时候，您也接受过联合国新闻的采访。这么多年过去了，您觉得人工智能发展对于整体的网络安全来说，它是起到了正面的作用还是负面的作用？
吴沈括：相比较于上一次和联合国新闻的交流，我认为，人工智能快速发展对于目前的网络安全和网络治理提出了一系列新的问题和挑战，既有积极的一面，也有消极的一面。人工智能的发展带来了更多数字化发展的场景，但随着应用场景的增多，我们所面临的风险类型和风险程度也在迅速地变化。总体而言，我们所面临的风险类型日趋多样，风险程度也日益深刻。
联合国新闻：提到人工智能，最近比较火的一个产品当属ChatGPT。您觉得ChatGPT对于网络安全来说会带来怎样的隐患？
吴沈括：首先，我们应当注意到，ChatGPT作为人工智能的一种应用形式，在信息处理和自动化方面具有巨大潜力，但同时也伴随着一些安全隐患。例如，它可能会给用户带来不同程度的信息偏差和误导信息，从而会干扰用户形成科学准确的判断。
我们也观察到，越来越多的案例表明，ChatGPT在研发和应用的过程中可能带来数据泄露的风险。例如，在训练数据和用户输入的过程中，可能包含敏感信息，这些敏感信息面临着数据泄露的风险，特别是如果服务器遭受攻击或者管理上存在失误时，这种情况更有可能发生。
此外，ChatGPT在应用过程中，如果被恶意使用，可能会生成恶意代码。例如，它可能被用于编写用于网络攻击的工具代码，在一定程度上降低实施网络攻击的技术门槛。
同时，我们还注意到，包括ChatGPT在内的各类人工智能工具软件的应用，可能对社会稳定和公共安全带来风险。例如，在结果输出的过程当中，可能会受到预训练数据中特定的价值判断和价值偏见的影响，从而成为舆论操纵的工具，甚至损害社会治理乃至国家治理，严重威胁公共安全。
另外，ChatGPT等场景中的算法可能存在一种不可解释的问题。这种算法黑箱的状态可能导致用户在使用过程中存在不信任心理，也可能在一定程度上影响此类技术的场景化应用。
因此，我们需要注意到，以ChatGPT为示例的人工智能在应用过程中可能对网络安全产生严重影响。并且这种影响可能具有广泛性和持续性，其高度自动化和高度智能化的特点会引发一系列有关安全的社会共同关切。我们需要特别注意在应用过程中最大限度地缓解和降低包括ChatGPT在内的各类人工智能应用的风险水平。
吴沈括在联合国有关打击网络犯罪公约的谈判现场。
联合国新闻：就像您说的，ChatGPT它一方面能够提高人们的生产力，提高我们的效率，但另一方面确实有很多潜在的问题。这些隐患是否已经成为现实？能否给我们举几个例子。
吴沈括：一方面是AI漏报和误报的可能性已然浮现。例如，AI在处理复杂的安全事件时可能会受到误导或出现误判，导致结果差误，这在当前一些天气预报、交通调度等应用场景中已经有所体现。
另一方面，各类GPT的应用也会带来技术和管理层面的挑战。ChatGPT乃至所有人工智能技术都有一个共同特点，即基于海量预训练数据的算法分析并输出特定的处理结果。因此，如果对预训练数据资源进行操纵，可能在一定程度上影响其输出结果。
此外，我们需要特别注意，诸如“一键脱衣”，以及文生视频、文生音频等AI工具在应用过程中，人工智能存在被滥用的风险，成为制造非法内容的重要手段。
目前出现的这些问题，有的是因为恶意滥用AI，有的是在AI正常使用过程中出现了不可控的、不可预见的意外情况。因此，从技术安全性、管理安全性以及内容安全性的角度来看，人工智能在应用过程中确实有很多值得我们高度关注和持续识别、警示和处置的新现象。
联合国新闻：我们一直在聊人工智能发展具有极高的不确定性，您觉得在全球应对方面，我们能够采取哪些预防措施去消除这种不确定性？
吴沈括：我们可以从研发、应用以及治理三个层面进行有效的回应。在研发层面，例如一直在探讨的人工智能研发者的准入问题，以及人工智能研发过程中应当遵循的基本技术标准问题，都是需要特别关注的。目前，在国际组织以及不同国家和地区中，人工智能安全的多重技术标准等问题都在展开探讨和推动。因此，对于研发环节的主体准入以及业务规则的设计，应当有基本的底线要求。
其次，在人工智能应用过程中，需要建立有效的监测预警和高效敏捷的干预处置机制。当人工智能出现负面效果时，能够及时的发现、有效的干预，并采取必要的权益恢复措施，这非常重要。
在治理层面，我们也需要构建关于人工智能治理的规则要求，比如治理主体权限的设定，以及在治理过程中潜在相关方的权利义务分配和责任配置问题。今天的人工智能不是简单的技术应用，而是一种新的数字化生态。应对这种不确定性时，我们需要采取生态式综合治理的思路，通过不同层面、不同主体全面协同的立体治理方式，最大限度地降低各类不确定性。
吴沈括参加毒罪办网络犯罪治理磋商会。
联合国新闻：那我们回到3月底联合国通过的有关于人工智能治理的这项决议，听说吴教授也参与了这项决议的磋商过程，可不可以请您简单地给我们介绍一下这份决议？
吴沈括：这个决议是迄今为止在联合国框架下有关人工智能的首个全球性的决议草案，其目的是确保这项强大的新技术能够造福所有的国家，尊重人权，并且确保人工智能是安全可靠的和值得信任的。大家会发现，此份决议通过速度非常快，仅用了两三个月的时间，并且以协商一致的方式快速通过，事实上这代表了联合国所有会员国的普遍支持和认可，也标志着国际社会在人工智能领域达成了一定的全球性共识。各国共同推动人工智能的可持续发展，以期促进全人类的共同福祉。
在文本表述中，大家能够看到几个非常重要的观点，例如强调制定人工智能系统标准的重要性，提升人工智能全球治理的紧迫性，并在人工智能系统全生命周期内确保尊重、保护和增进人权以及基本自由等。这份决议承载了很多联合国自身固有的价值立场。
联合国新闻：就像您刚刚说的，这份决议它通过的速度非常快，也是用协商一致的方式通过的。那在磋商过程中，各国是否有一些分歧？
吴沈括：与其说是分歧，我认为更可以说是关切不同。一方面，各国对于人工智能应用所带来的益处和福祉是认可并且期待的。另一方面，各国对人工智能应用过程中可能产生的消极影响存在不同的重点关切。并且在此基础之上，各国对于构筑面向未来的人工智能的制度基础和生态基础也提出了各自的重点需求，比如技术转让、人才培训、智能鸿沟跨越等，这些都是各国在磋商过程当中非常关注的要点。
非洲、南美以及其他地区的一些发展中国家尤为关注在人工智能时代国家主权的保护问题，以及智能鸿沟的跨越问题。
而在人工智能领域先行的国家则更关注人工智能在应用过程中已经产生的新的风险类型，以及针对这一系列风险类型的有效治理，包括划定必要的关于人工智能应用的行为红线，通过这种方式来筑牢关于人工智能应用和治理的基线。
尽管各国处于不同的发展阶段，但是对于这一问题的关注度应当是同步的。
联合国新闻：您是否觉得让全世界所有人类在线上线下，包括在人工智能系统的整个生命周期内享有同等的权利是一条人工智能发展的底线？
吴沈括：人工智能技术的发展和应用对于个人权利和社会结构产生了深远的影响，因此必须确保人工智能在其全生命周期内能切实尊重和保护人权。实际上，这也是包括联合国在内的一系列国际组织的重要的价值基线。此外，这一理念在《全球人工智能治理倡议》、《人工智能布莱切利宣言》等文件中都有体现。
我们需要特别注意到的是，我们今天讨论人权保护和平等权利保护，有几点核心的关切点。第一是尊重个体的权利，包括隐私权利、表达权利和知情权利等。
其次是防止歧视，尤其是算法歧视。因为人工智能系统在应用的过程中，基于其技术属性，可能会带来歧视、偏见等潜在风险。
第三是人工智能在应用过程中必须确保必要的透明度和可解释性，例如，用户或者受到影响的其他相关利益方应该能够有效理解人工智能系统做出特定决策的基本原理，以更好地保护我们在未来的人工智能时代中享有基本知情权和选择权。
人工智能系统在设计、开发和应用过程中，不能以牺牲人权为代价。它应当作为一种工具，加强和促进人权的实现。在价值体系层面，确保人工智能技术和人权价值的相互协调是联合国框架下人工智能治理的重要的逻辑主线。关于人权保障和平等权利保护的原则，在未来的人工智能全球治理中，将会是一个非常重要的价值基石。
吴沈括参加中国-捷克“数字经济与治理”研讨会。
联合国新闻：那就像您之前提到的，除了联合国通过的这些决议、提出的这些倡议之外，其实世界各个国家都有推出相关的人工智能治理方面的法案和条例。比如说在今年5月，中美人工智能政府间对话首次会议在瑞士日内瓦举行，同月，中法及中俄联合声明中也强调了人工智能的治理问题。您是如何看待这些大国就人工智能这个话题所展开的各种互动？您觉得这对于联大通过的这份决议来说，是不是一种落实？
吴沈括：在人工智能问题上，主要大国在人工智能的应用和治理过程中发挥了举足轻重的作用，成为未来人工智能发展方向的重要的风向标。
中国在人工智能的政策战略和法律法规层面走在世界前列。例如早在2015年，国务院就发布了《新一代人工智能发展规划》，从产业规划和治理体系基础架构等各个层面做出了综合性的部署。2023年7月，中国颁布了世界上首个关于AIGC的治理法规《生成式人工智能服务管理暂行办法》。这些都是在良好治理实践基础上形成的制度设计。
在人工智能治理过程中，中国强调伦理先行。例如，国家新一代人工智能治理专业委员会提出了一系列关于人工智能治理的伦理规范和发展要求。此外，人工智能立法也被列入了2024年的国家立法规划，相关规则的研究和设计工作正在推进。
目前，包括中国在内的主要国家在人工智能领域的制度建设和法规制定上基本处于同步高速发展的阶段，这具有显著的时代特色和历史意义。
各大国在人工智能的研发、应用和治理上的高频互动主要有三个目的：一是促进协调各大国之间关于人工智能的合作方向，二是有效管控与人工智能相关的各类潜在分歧和冲突，三是共同构建全球性的人工智能治理生态。
目前，各方在人工智能领域的双边、多边互动非常频繁，这一方面能够反映联大决议达成的重要时代背景，另一方面也显示了联大决议之后对于人工智能的国际合作和交流所产生的积极影响。
一方面，联大决议中的各项价值要求在不同议程和倡议中反复出现。例如，在中法、中俄的一系列文件中，可以看到一些相似的表述。另一方面，我们可以预见，各大国之间关于人工智能治理的合作也会进一步对联大决议的落实、执行和推动产生更为丰富的实践影响。
联合国新闻：就在各个国家在人工智能治理方面互动这么频繁的背景之下，中国一直是主张在加强人工智能的全球治理方面，一定要发挥联合国的主渠道作用。您对这样的一个管治架构有怎样的设想？
吴沈括：中方确实一直主张发挥联合国的主渠道作用，重视联合国的制度性角色定位。同时，我们也能看到联合国在人工智能治理中能够发挥的作用及其未来的意义。我们要特别强调联合国所具备的不同角色。
首先，联合国作为多边主义的捍卫者，通过多边框架解决全球问题，尤其是发展中国家对此有广泛的期待。
此外，联合国是国际法和国际规则的重要制定者，其制定和通过的具有普遍约束力的国际法律和规范对人工智能的应用和治理至关重要。人工智能具有全球性特点，因此需要包括联合国在内的一系列国际规则和规范的有效制定和实施。
联合国作为国际争端的调解者和国际和平与安全的维护者，在应对人工智能应用中可能引发的冲突风险和矛盾激化方面也发挥着重要作用。
联合国作为全球发展议程的推动者、国际合作的协调者和全球公共产品的提供者，在人工智能的应用治理中能协调国际资源整合和治理方式融合，这对于构建全球步调一致的人工智能治理方案至关重要。
最后，联合国作为人权和人道主义事务的倡导者，在全球人权保护和解决人道主义危机方面具有重要意义。这一点在人工智能的应用过程中尤为突出，决议对人权和人道主义价值的高度关注有目共睹。
因此，突出联合国主渠道作用具有现实的基础，也与各个国家和地区的共同期待密切相关，可以说是时代的选择。
以上是《联合国新闻》实习记者王晓文对于联合国网络安全与网络犯罪问题高级顾问、北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括的专访。