photo
人工智能治理
公共服务平台
Artificial Intelligence Governance Online
依据世界众多AI原则测评您的AI项目

在线测评后将自动生成报告,内容包括基于全球AI治理原则及其详细解释,您的项目中应当注意和改善的部分。

开始测评
依次点击每一个主题,回答所有问题来完成测评
人工智能风险与治理案例库
1.1. 该系统在设计、开发、测试与部署过程中,是否严格遵守了相关法律法规、伦理道德和标准规范?


1.2. 该系统在设计、开发、测试与部署过程中,是否严格遵守了《中华人民共和国民法典》中对“隐私权和个人信息保护”中的相关规定?

《中华人民共和国民法典》由中华人民共和国第十三届全国人民代表大会第三次会议于2020年5月28日通过,自2021年1月1日起施行。该法律中“第四编 人格权:第六章 隐私权和个人信息保护”部分明确了保护个人信息的原则。



1.3. 该系统在设计、开发、测试与部署过程中,是否严格遵守了《中华人民共和国个人信息保护法(草案)》?

《中华人民共和国个人信息保护法(草案)》旨在保护个人信息权益,规范个人信息处理活动,保障个人信息依法有序自由流动,促进个人信息合理利用。该法适用于:组织、个人在中华人民共和国境内处理自然人个人信息的活动,在中华人民共和国境外处理中华人民共和国境内自然人个人信息的活动(包括以向境内自然人提供产品或者服务为目的,为分析、评估境内自然人的行为,法律、行政法规规定的其他情形)。



1.4. 该系统在设计、开发、测试与部署过程中,是否严格遵守了《中华人民共和国网络安全法》中的相关规定?

《中华人民共和国网络安全法》由中华人民共和国第十二届全国人民代表大会常务委员会第二十四次会议于2016年11月7日通过,自2017年6月1日起施行。该法律旨在保障网络安全,维护网络空间主权和国家安全、社会公共利益,保护公民、法人和其他组织的合法权益,促进经济社会信息化健康发展。该法律适用于: 在中华人民共和国境内建设、运营、维护和使用网络,以及网络安全的监督管理。



1.5. 该系统在设计、开发、测试与部署过程中,是否参考《App违法违规收集使用个人信息行为认定方法》进行自查和评估?

2019年11月28日,国家互联网信息办公室、工业和信息化部、公安部、市场监管总局联合制定发布了《App违法违规收集使用个人信息行为认定方法》。根据《关于开展App违法违规收集使用个人信息专项治理的公告》,该方法旨在为监督管理部门认定App违法违规收集使用个人信息行为提供参考,为App运营者自查自纠和网民社会监督提供指引,落实《网络安全法》等法律法规。



1.6. 该系统在设计、开发、测试与部署过程中,是否严格遵守了GB/T 35273-2020《信息安全技术个人信息安全规范》标准?

GB/T 35273-2020《信息安全技术个人信息安全规范》于2020年3月6日正式获批发布,实施时间为2020年10月1日。该标准针对个人信息面临的安全问题,根据《中华人民共和国网络安全法》等相关法律,严格规范个人信息在收集、存储、使用、共享、转让与公开披露等信息处理环节中的相关行为,旨在遏制个人信息非法收集、滥用、泄露等乱象,最大程度的保护个人的合法权益和社会公众利益。该标准明确了数据安全责任人相关要求,规范了个人信息保护负责人的相应工作职责,规定了定向推送相关要求以及用户可以撤回的权利,提出了平台第三方接入责任相关要求,对第三方接入的监督管理责任进行细化。



1.7. 如果该系统面向儿童(未成年人),在其设计、开发、测试与部署过程中,是否严格遵守了《儿童个人信息网络保护规定》?

《儿童个人信息网络保护规定》 于2019年8月22日经国家互联网信息办公室室务会议审议通过,自2019年10月1日起施行。该法规旨在保护儿童个人信息安全,促进儿童健康成长。该法规所称儿童是指不满十四周岁的未成年人,该法规适用于:在中华人民共和国境内通过网络从事收集、存储、使用、转移、披露儿童个人信息等活动。

不涉及儿童(未成年人)


2.1. 该系统的设计与应用中,是否充分考虑了其对环境和社会可持续发展的影响?

联合国所有成员国于2015年正式通过了17个可持续发展目标,这些目标涵盖了消除贫困和饥饿、改善健康和教育、减少不平等、促进经济增长、应对气候变化、保护森林与海洋、推进法治与人权保护、加强各方协作等。这些可持续发展目标为全球2015-2030年的社会、经济和环境发展指明了方向。

不涉及这些方面
尚未考虑
已考虑
2.2. 该系统的部署是否有可能会加剧相应行业的数据或平台垄断?或者有助于避免上述数据或平台垄断的出现?
没有明显影响
可能会加剧相应行业的数据或平台垄断
有助于避免相应行业的数据或平台垄断
2.3. 该系统的广泛部署是否可能会造成特定群体的技术性失业?如果是,是否可以通过诸如替代就业、培训教育等方式使上述影响可控?
不会对任何群体的就业产生明显影响
可能会使某些群体失业,但可以通过替代就业、培训教育等方式转移
可能会使某些群体失业,并且难以通过有效方式转移
2.4. 该系统的设计理念与实际应用中,是否考虑了弱势群体(如儿童、老年人、残疾人、偏远地区群体)在应用中的特殊需求?
未涉及
涉及相关群体,已予以考虑
涉及相关群体,但尚未考虑
主要针对弱势群体设计
3.1. 该系统的设计理念与实际应用中,是否充分尊重了人的隐私、尊严、自由、自主和权利,而非予以侵害?

例如,如果该系统面向儿童,是否充分尊重了儿童的尊严,保护了他们包括身心安全与健康、隐私、受教育、意愿表达等在内的权利?

予以了充分尊重
可能有违背
4.1. 该系统所采用的数据集所代表的群体与受该系统影响的群体间是否存在偏差?如果有,这样的偏差给这些群体的利益(可能)带来的影响性质、范围和程度是怎样的?
不涉及数据集
无法对是否存在偏差进行评估
不存在或已经消除偏差
存在难以消除的偏差,无法对偏差的潜在影响进行评估
存在难以消除的偏差,但不会损害相关群体的利益
存在难以消除的偏差,可能会损害部分群体的利益,但可以以其他方式补救
存在难以消除的偏差,可能会严重损害一些群体的利益
存在难以消除的偏差,可能会损害广泛群体的利益
4.2. 该系统所采用的数据集是否可能引入了历史数据蕴含的社会偏见(例如因文化、政策或历史遗留原因依赖性别、肤色、种族、年龄、地域、信仰、经济条件或其他特征对某些个人或群体的不公平对待)?是否采取措施减轻或消除上述偏见的影响,以及效果如何?

数据集中所蕴含的偏见不只会显性地存在,还可能会隐性蕴含在一些看似无关的特征的背后(例如犯罪率,肤色与居住区域),应予以足够重视

不涉及数据集
未进行过评估
进行过评估,不存在可能的偏见
存在可能的偏见但已经有效减轻或消除
存在可能的偏见且无法有效减轻或消除
存在可能的偏见且尚未有效减轻或消除
4.3. 该系统所采用的技术模型的其他环节是否可能会引入偏见?是否采取措施减轻或消除上述偏见的影响,以及效果如何?
未进行过评估
不会引入偏见
可能会引入但已经有效减轻或消除
可能会引入且无法有效减轻或消除
可能会引入且尚未有效减轻或消除
4.4. 该系统的完整生命周期中是否会一直保持较高的公正性?该系统与用户交互过程中能否抵御偏见的注入?
未进行过评估
无法在完整生命周期中保持较高的公正性
能够在完整生命周期中保持较高的公正性
4.5. 该系统的部署对现有偏见的影响是怎样的?例如,推荐算法或个性化决策模型的长期应用是否有可能会不断加强用户的某些观点?
未进行过评估
无此类影响
有助于减小或消除已有偏见
可能会加深或固化已有偏见
5.1. 该系统的开发、测试、部署过程中所带来的各种潜在危害、损失、社会影响,其责任是否能够最终归咎于特定个人或群体,而非人工智能系统本身?


5.2. 负责预防和避免该系统的开发、测试、部署过程中所带来的各种潜在危害、损失、社会影响的相关人员,是否已经明确?其是否已经采取了主动和有效的预防措施?
尚未明确
已经明确,但尚未采取有效预防措施
已经明确,且已经采取有效预防措施
5.3. 负责监管、调查和处理该系统的开发、测试、部署过程中所带来的各种潜在危害、损失、社会影响的相关人员,是否已经明确?其是否能够采取迅速和有效的措施来应对?
尚未明确
已经明确,但尚不具备足够应对能力
已经明确,且能够有效应对
5.4. 该系统是否进行了有效的设计(例如运行记录等),以帮助相关监管人员在必要时明确责任界定?
已进行有效的设计
未进行有效的设计
5.5. 如果现有法律尚未覆盖或明确人工智能系统在开发、测试、部署过程中可能产生的法律责任的界定问题,那么是否已通过其他形式(例如书面合同等)讨论并明确上述情况下的责任界定?
不涉及未覆盖问题
涉及,已通过其他形式讨论并明确
涉及,未通过其他形式讨论并明确
6.1. 该系统的用户是否能够意识到与其交互的是人工智能系统而非人类?

例如,该系统如果面向儿童,是否以明确的、可理解的方式告知儿童及其父母、法定监护人或其他看护人?

不涉及此类问题
已明确注明或告知
未注明或告知,但用户可以推断出
未注明或告知,用户存在误认的可能
目标是使用户误认
6.2. 该系统是否涉及基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息或其他形式数据?如果涉及,是否以显著方式进行了标识?

例如,该系统如果面向儿童,是否以明确的、可理解的方式告知儿童及其父母、法定监护人或其他看护人?

不涉及此类数据
涉及此类数据,尚未进行显著标识
涉及此类数据,已进行了显著标识
6.3. 该系统是否能够提供适当的解释,以帮助用户及受其影响的其他群体在其需要的时候理解该系统的工作机理或决策依据?
不涉及此类问题
无法提供解释
能够提供解释,但用户难以理解
能够提供解释,且用户能够理解
6.4. 该系统是否能够提供足够的透明度,以帮助用户或设计人员在其需要的时候定位系统的错误原因?
不涉及此类问题
无法提供足够透明度帮助相关人员定位问题
能够提供足够透明度帮助相关人员定位问题
6.5. 该系统是否进行了有效的设计提高自身行为的可预测性,帮助其部署环境中的人类更好地预测其行为?
不涉及此类问题
未进行相关设计
进行了相关设计
7.1. 该系统在开发、测试和部署时,在收集、使用用户个人信息的过程中是否遵循了“合法、正当、必要”的原则?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“违反必要原则,收集与其提供的服务无关的个人信息”:1.收集的个人信息类型或打开的可收集个人信息权限与现有业务功能无关; 2.因用户不同意收集非必要个人信息或打开非必要权限,拒绝提供业务功能; 3.App新增业务功能申请收集的个人信息超出用户原有同意范围,若用户不同意,则拒绝提供原有业务功能,新增业务功能取代原有业务功能的除外; 4.收集个人信息的频度等超出业务功能实际需要; 5.仅以改善服务质量、提升用户体验、定向推送信息、研发新产品等为由,强制要求用户同意收集个人信息; 6.要求用户一次性同意打开多个可收集个人信息的权限,用户不同意则无法使用。


否/不清楚
7.2. 该系统在开发、测试和部署时,在收集、使用用户个人信息之前是否向用户提供了真实、准确和充分的信息确保其知情权?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未公开收集使用规则”:1.在App中没有隐私政策,或者隐私政策中没有收集使用个人信息规则; 2.在App首次运行时未通过弹窗等明显方式提示用户阅读隐私政策等收集使用规则; 3.隐私政策等收集使用规则难以访问,如进入App主界面后,需多于4次点击等操作才能访问到; 4.隐私政策等收集使用规则难以阅读,如文字过小过密、颜色过淡、模糊不清,或未提供简体中文版等。 参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未明示收集使用个人信息的目的、方式和范围”:1.未逐一列出App(包括委托的第三方或嵌入的第三方代码、插件)收集使用个人信息的目的、方式、范围等; 2.收集使用个人信息的目的、方式、范围发生变化时,未以适当方式通知用户,适当方式包括更新隐私政策等收集使用规则并提醒用户阅读等; 3.在申请打开可收集个人信息的权限,或申请收集用户身份证号、银行账号、行踪轨迹等个人敏感信息时,未同步告知用户其目的,或者目的不明确、难以理解; 4.有关收集使用规则的内容晦涩难懂、冗长繁琐,用户难以理解,如使用大量专业术语等。;该系统如果面向儿童,是否以明确的、可理解的方式告知儿童、父母、法定监护人或其他看护人?


否/不清楚
7.3. 该系统在开发、测试和部署时,在收集、使用用户个人信息之前是否在用户充分知情的前提下征得了用户的同意?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未经用户同意收集使用个人信息”:1.征得用户同意前就开始收集个人信息或打开可收集个人信息的权限; 2.用户明确表示不同意后,仍收集个人信息或打开可收集个人信息的权限,或频繁征求用户同意、干扰用户正常使用; 3.实际收集的个人信息或打开的可收集个人信息权限超出用户授权范围; 4.以默认选择同意隐私政策等非明示方式征求用户同意; 5.未经用户同意更改其设置的可收集个人信息权限状态,如App更新时自动将用户设置的权限恢复到默认状态; 6.利用用户个人信息和算法定向推送信息,未提供非定向推送信息的选项; 7.以欺诈、诱骗等不正当方式误导用户同意收集个人信息或打开可收集个人信息的权限,如故意欺瞒、掩饰收集使用个人信息的真实目的; 8.未向用户提供撤回同意收集个人信息的途径、方式; 9.违反其所声明的收集使用规则,收集使用个人信息。 参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未经同意向他人提供个人信息”:1.既未经用户同意,也未做匿名化处理,App客户端直接向第三方提供个人信息,包括通过客户端嵌入的第三方代码、插件等方式向第三方提供个人信息; 2.既未经用户同意,也未做匿名化处理,数据传输至App后台服务器后,向第三方提供其收集的个人信息; 3.App接入第三方应用,未经用户同意,向第三方应用提供个人信息。;该系统如果面向儿童,是否确保监护人的知情与同意?


否/不清楚
7.4. 该系统在开发、测试和部署时,在收集、使用用户个人信息的过程中是否遵守了与用户的其他约定?


7.5. 该系统在开发、测试和部署时,对于所收集的用户个人信息是否进行了充足的安全保障(包括制度上及技术上)来防范数据被窃取、篡改、泄露或其他非法行为利用?相关措施的效果如何?
未进行安全保障
采取了措施,但未能实现充分安全保障
采取了措施,且能够进行充分安全保障
7.6. 该系统是否设计了有效的数据与服务授权撤销机制并使用户知晓?是否设计了便利的渠道来帮助用户管理自己的数据?用户数据“被遗忘”的程度如何?

参考《App违法违规收集使用个人信息行为认定方法》,以下行为可被认定为“未按法律规定提供删除或更正个人信息功能”或“未公布投诉、举报方式等信息”: 1.未提供有效的更正、删除个人信息及注销用户账号功能; 2.为更正、删除个人信息或注销用户账号设置不必要或不合理条件; 3.虽提供了更正、删除个人信息及注销用户账号功能,但未及时响应用户相应操作,需人工处理的,未在承诺时限内(承诺时限不得超过15个工作日,无承诺时限的,以15个工作日为限)完成核查和处理; 4.更正、删除个人信息或注销用户账号等用户操作已执行完毕,但App后台并未完成的; 5.未建立并公布个人信息安全投诉、举报渠道,或未在承诺时限内(承诺时限不得超过15个工作日,无承诺时限的,以15个工作日为限)受理并处理的。

有撤销机制,用户数据将完全从该系统中被移除
有撤销机制,敏感用户数据完全从该系统中被移除,但系统中尚存有用户数据的匿名化形式(如匿名化后的数据集、训练后网络的权值等)
有撤销机制,但包括敏感用户数据在内的用户数据难以完全从系统被移除
暂无撤销机制
8.1. 是否对该系统所涉及的数据、软件、硬件及服务进行了充分的测试、验证与确认?

例如,人工智能系统所设定或习得的目标函数是否与设计者的设计意图一致?如果存在不一致,是否存在某些安全隐患?

不适用此问题
尚未进行过类似测试
已进行过类似测试,但未覆盖所有子系统或应用场景
进行了充分的测试
8.2. 对于自主或半自主人工智能系统,是否设计了相应机制以确保人类在必要时能够及时、有效地切入控制和急停?是否设计了有效的措施来减轻系统失控的后果?
不适用此类问题
尚未包含此类设计
包含此类设计,但尚未做到及时和有效
已进行了相关设计确保了在必要时及时和有效的人类控制
一旦部署便难以实现有意义的人类切入控制和急停
8.3. 当该系统正在被恶意滥用而对社会公众和他人的安全和利益带来危害时,是否有机制能够帮助其他群体绕开系统使用者(滥用者)的控制来阻止系统的危害行为或使这种危害行为无效化?
不适用此类问题
尚未包含此类设计
包含此类设计
8.4. 该系统在设计、开发、测试与部署的全生命周期中是否对相关数据、软件、硬件或服务采取了足够有效的安全防护措施?

例如,系统设计时是否考虑了非友好环境下的稳定运行?对于常见的针对人工智能系统的攻击方式,如试探性攻击、投毒攻击、逃逸攻击、降维攻击等,是否设计了防御机制?对用户数据和其它敏感数据是否进行了足够的加密?智能硬件系统的传感器是否针对干扰和欺骗进行了防护?随着用户数据的不断注入和系统的不断更新,系统的安全性是否能够一直保证?

尚未进行安全防护
采取了一定的安全防护措施,但尚不能抵御某些常见的攻击或尚难以对某些常见漏洞进行防护
在现有技术发展水平下采取了充分的安全防护措施,能够抵御常见的攻击/对某些常见漏洞进行了足够的安全防护
8.5. 该系统在设计、开发、测试与部署过程中是否涉及第三方的数据、软件、硬件或服务(例如公开数据集、开源软硬件平台等)?如果涉及,针对这些第三方的数据、软件、硬件或服务本身以及其与原有数据、软件、硬件或服务间的接口可能存在的漏洞,是否经过了充分的安全评估与测试?
未涉及
用到,尚未经过充分安全评估与测试
用到,已进行了充分安全评估与测试
8.6. 该系统测试与部署的物理环境安全性如何?是否具备足够的安全保障?
未涉及
无法保证物理环境的安全性
物理环境在现阶段有足够的安全保障
8.7. 是否对该系统在非设计所预定的环境下运行的后果进行过评估?在上述环境下,系统的安全性能是否会有显著下降或引发新的安全问题?

例如,该系统在面对儿童不确定性方面,是否具备更高的风险控制能力?

不存在任何在非设计所预定的环境下运行的可能性
在非设计所预定的环境下运行时,系统的安全性可能会显著下降或系统可能会引发新的安全问题
在非设计所预定的环境下运行时,系统的安全性不会显著下降,系统也不会引发新的安全问题
8.8. 是否对测试、部署、使用、维护的相关人员进行了有效的培训,以帮助其掌握对于该系统安全稳定运行所需的必备知识和技能?
不涉及此类问题
尚未进行此类培训
已经进行此类培训
迈克菲的一项研究通过生成伪图像欺骗护照人脸识别
全生命周期安全性

2020年,安全软件公司迈克菲(McAfee)的一项研究通过生成对抗性伪图像骗过了模拟的护照人脸识别系统。研究者Jesse通过自己构建的系统生成了同事Steve的一张伪图像,这张提交上去的护照照片看起来像Steve,又能与Jesse的实时视频完全匹配。若照片被Steve提交给政府后,如果没有人类检查员的参与,将有可能帮助Jesse以Steve的身份通过机场人脸验证并顺利登机。

2020年美国人脸识别公司Clearview AI客户信息泄露
数据安全

2020年2月,美国人脸识别初创公司Clearview AI遭到黑客入侵,全部客户的列表、账户数量以及客户搜索数据等被非法访问,其中涉及到的客户包括执法机构和银行等。

浙大研究发现可利用手机加速度计窃听用户语音
全生命周期安全性 物理安全性

2020年来自浙大与国外研究者合作的一项研究发现了针对智能手机的一种新的攻击路径。当前智能手机App可在用户不知情、无需系统授权的情况下,利用手机内置加速度传感器采集手机扬声器所发出声音的震动信号,实现对用户语音的窃听。这一攻击方式不仅隐蔽而且“合法”,而且会使得用户很可能在毫无感知的情况下泄露隐私。

研究发现分析心电图的深度学习模型易遭受对抗性攻击
全生命周期安全性

2020年3月,来自纽约大学的研究者开发了一种方法,可以用人类专家无法察觉的平滑扰动构建对抗性示例,使得从心电图检测心律失常的深度学习模型以高确信度误诊。这表明在对可能已更改的心电图应用深度学习模型时,尤其是在存在导致错误分类的诱因的情况下,应该格外小心。

外卖智能算法让外卖骑手“困在系统里”
人类尊严与权利

作为美团、饿了吗等大型的配送平台,应用算法让他们更好的控制了配送成本,仅2020年上半年数据,美团外卖骑手成本就减少了4.27%,这些成本节约的背后更多的是压缩了外卖员的送餐时间。配送时间被算法多次压缩之后,直接导致外卖骑手为了完成订单不顾交通规则,逆行、闯红灯、超速行驶。