论文部分内容阅读
【摘要】科技革命推动人类社会进入到以算法为中心的智能社会法律秩序，自动化决策在便利司法实践的同时也带来了巨大的风险与挑战。“COMPAS预测罪犯再犯概率错误”、“GAAP加大数据鸿沟”等问题都凸显了算法决策的不足。技术的进步与法治的发展呈现出不协调性，自动化决策纠错的法律规制研究顺理成章。
【关键词】算法解释权;决策影响评估机制;更正权
中图分类号：G212 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.07.091
1. 算法自动化决策概念
算法自动化决策是与自然人决策相对立的概念，意指利用计算机技术、算法程序、深度学习或神经网络替代自然人处理关键数据，凭借其自动生成对数据主体具有法律效果的决策的行为。《中华人民共和国个人信息保护法（草案）》将自动化决策定义为利用个人信息对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，通过计算机程序自动分析、评估并进行决策的活动。
在《通用数据保护条例》中自动化决策又称为自主化的个人决策，其产生的合法性有三个途径，一是基于数据主体明确同意后的自动化处理;二是基于数据主体和另外一个数据控制者合同履行的必要;三是在控制者为数据主体，以及确立保护数据主体权利、自由和正当化利益的适当措施是联盟或成员国法律所规定时候。
自动化决策根据数据模型对数据主体作出反应或预测。因此，自动化决策分为预测型算法自动化决策和反应型算法自动化决策，反应型算法自动化决策的基本模型为收集数据——匹配条件——作出决策;预测性算法自动化决策是指根据以往的数据资料，预先对数据主体作出判断，最常见的预测性算法自动化决策是根据某人征信记录来限制高消费。预测型算法可以在事情发生之前调配资源进行合理分配，实现利益最大化。
2. 算法自动化决策的弊端
2.1 算法“黑箱”遮蔽当事人知情权
算法“黑箱”产生于信息的不对称和不公开。技术本身的复杂性以及媒体机构、技术公司的排他性商业政策，使得算法犹如一个未知的“黑箱”——用户并不清楚算法的目标和意图，也无从获悉算法设计者、实际控制者以及机器生成内容的责任归属等信息，更谈不上对其进行評判和监督。算法自动化决策的重要特点之一是在瞬间作出决定，因此信息处理者在每一次处理个人信息前想要取得每个信息主体的知情同意是不切实际的。从技术层面而言，每次的发送与反馈给节点带来了太多负担;从经济利益角度看，取消通知环节能够追求更多的利益，在巨大的利益面前，当事人的权利自然得不到重视。
2.2 算法歧视损害社会平等权
从数据客观主义出发，大多数人认为算法结果是完全中立的。但实践证明，逻辑上的中立并不等同于结果上的中立，即使是在事前预先设立的统一标准指令也可能表现出偏见，算法程序在预先编写时将人类的歧视文化连同数据一起归纳。只归纳不演绎，对样本数据偏见的输入使得算法自动化决策建立在通过刻板印象所形成的范畴上。针对一个新来的数据主体，计算机在没有外界所介入和更正的情况下，按照已知的数据特征将其自动归属于“最像”的那个类中。不考虑其他外在因素，只计算样本结果并依此作出决定，必然会扩大偏见与不公。与计算机相比，人脑在数据精准性上固然无法匹敌，但排除人脑的综合考虑因素和主观情感，以及某些时候数据无意缺失导致算法“双眼”的蒙蔽，在瞬间将某人分类的预前判断带来的是道德和伦理上的社会歧视。一个刚出狱的犯人可能因为算法的提前预判而失去改过自新的机会从而无法回归社会，社会鸿沟在无形中进一步加剧，法律所提倡的人人平等也因为过度信赖数据而导致形同虚设。
2.3 算法垄断侵蚀程序正义
算法技术作为商业秘密，期源代码都处于隐藏状态，运行方式并不公开。当算法作出具有法律效应的决策时，数据主体并没有参与其中，在得出结果的途中程序正义被忽视。技术公司垄断了硬件与算法系统的开发、设计和使用，在使用数据主体数据的同时却拒绝对公众公布算法收集处理数据的权限和过程，正当程序在某种程度上被架空，当事人无法参与决策过程。当事人参与决策过程是为了更好的事实认定和法律适用，但由于算法技术垄断，法院在适用决策结果时倾向于认定该结果是正确的，然后依照结论去推导过程。因为技术的不透明和垄断性，当事人很难参与到决策中去，程序上的权利被架空。算法作为一种极为复杂的技术，拉开了数据主体和数据控制者之间的差距，后者享有某种独特的算法权力。
3. 算法自动化决策的法律纠错机制
3.1 落实算法解释权
算法“解释权”是指数据主体有权要求数据控制者对算法决策的目的、过程、结果进行解释。早在1995年，欧美《数据保护指令》12条就规定了数据主体有权了解其个人数据如何被处理及数据自动化处理系统的内在逻辑。《个人信息保护法（草案）》第四十八条规定，个人有权要求个人信息处理者对其个人信息处理规则进行解释说明。但提出并不等于落实，草案中所规定的数据主体所拥有的算法解释权在具体落实上存在一些问题：1、算法解释权作为一种请求权，仅限于个人认为自动化决策对其产生重大影响时才能行使;2、数据主体行使请求权的范围尚不明确，导致数据控制者以企业享有商业秘密为由对抗算法解释权;3、算法的专业性和复杂性使得数据主体对解释的内容无法进行核实。
算法解释权作为一种请求权，应当从权利本身构成要件入手，对该项请求权的内核和外延予以精细化设计，为落实算法解释权提供切实可行的操作指南。首先，行权应当确权，一方面预先设定权利所包含的内容可以起到指导作用，另一方面内容的确定也是对于权利主体的一种约束，无限扩大权利内容会侵犯企业的商业秘密阻碍经济发展。其次，降低数据主体对于其权益造成重大影响这一事实的举证责任，只要主体认为自动化决策对其权益产生重要影响，就应当赋予其算法解释请求权，不要求主体具体说明其权益受到了多少损害。最后，解释方在收到数据主体解释请求权时，应该采取最通俗易懂的语言来描述其对于数据主体信息的利用和控制。 3.2 构建算法决策影响评估机制
算法自动化决策在投入使用前应该经过公众参与评估，影响评估机制既能扩大社会参与度，也能监督数据控制者和使用者。2018年4月，AI Now研究院就发布了一份有关算法影响评估（AIA）的报告，针对可能对数据主体权利造成影响的算法自动化决策系统，应允许社区和利益相关者进行评估，以确定是否可以以及在什么领域使用算法。我国也采用这种方法。个人算法决策影响评估机制应包含主体、内容、模型建构以及结果应用四个纬度。在评估主体上应该引入第三方辅助机制，算法评估是一项对技术要求比较高的活动，对于参与者的专业素养要求较高，一般普通人很难具有相关的知识水平，为了保证评估的准确性，数据主体有权聘请具有相关知识的人介入其中辅助理解算法含义。在评估内容方面，评估者应向公众解释所采取的评估机制是什么，他们获取个人数据的途径、使用目的、范围、时间、使用方法等。同时，问卷的编写不能只依靠评估者，对于样本数量的采集一定要尽可能保持全面和公正，使所得出来的结果具有弹性。在评估机制模型建构上，考虑到数据的不完整性和复杂性，采取贝叶斯网络模型可以更加清楚实现了解众多因素和决策影响之间的联系。经过数据主体参与评估所得出来的结果数据应用遵循“数据→评估报告→决策”的实践逻辑，数据和分析结果之间一一对应，分析结果和决策之间一一对应。决策实施后，评估者应该审核程序，发现、衡量或长期追踪系统的影响风险评估报告和处理情况记录应当至少保存三年。
3.3 赋予数据主体“更正权”
“更正权”赋予数据主体在自动化决策产生错误时向数据控制者提出异议且要求数据控制者进行更正决策的权利。目前我国对于数据主体的“更正权”定义为：本人得以请求信息处理主体对不正确、不全面、不时新的个人信息进行更正与补充的权利。其包含错误信息修改权与过期信息更新权两个方面。法律仅仅赋予了自然人个人信息更正权，没有赋予其他组织，对于其他组织的保护一片空白。其次，法人也仅能更正个人信息错误处或更新已经过时的个人信息，对于自动化决策本身的价值还是肯定的，偏信决策的误差来源于数据的错误。数据主体想要改变自动化决策只有当利益受损后向法院提起民事诉讼、行政复议、行政诉讼。因此，赋予数据主体自动化决策更正权是有现实意义的。
数据主体行使“更正权”不能仅简单将个人信息数据核实、更新后再次输入算法程序进行决策，当在数据主体提出自动化决策结果错误并且证明确有错误后，应对算法程序保有怀疑并适当进行人工介入。
4. 结语
媒介的发展让社会变得扁平化，但自动化决策过程却并不是公开的，“让所有人看到你的决策”不意味着让所有人参与自己的决策。算法黑箱、算法歧视、算法垄断以及知识鸿沟的出现使得数据主体无从知晓决策的原因，效率提高的同时人们的权益也在不断被侵害。问题解决的核心不在于算法应不应该作出决策，而在于算法是否能作出准确决策，以及事后能否给予救济，赛博空间也需要法律来维持稳定。
参考文献：
[1]唐林垚.“脱离算法自动化决策权”的虚幻承诺[J].东方法学，2020（06）：18-33.
[2]张凌寒.算法自动化决策与行政正当程序制度的冲突与调和[J].东方法學，2020（06）：4-17.
[3]张玉宏，秦志光，肖乐.大数据算法的歧视本质[J].自然辩证法研究，2017，33（05）：81-86.
[4]解正山.算法决策规制——以算法“解释权”为中心[J].现代法学，2020，42（01）：179-193.
[5]邹东升，陈昶."数据式"社会稳定风险评估：困境、逻辑与路径[J].情报杂志，2020，39（5）：129-136.DOI：10.3969/j.issn.1002-1965.2020.05.020.
[6]胡文娟.公共机构应如何评估算法决策的影响[J].WTO经济导刊，2018，No.174（04）：51-52.
[7]齐爱民.论个人信息的法律保护[J].苏州大学学报，2005（02）：30-35.
作者简介：姚玲，湖南工商大学法学与公共管理学院硕士研究生，研究方向为法理学。
【关键词】算法解释权;决策影响评估机制;更正权
中图分类号：G212 文献标识码：A DOI：10.12246/j.issn.1673-0348.2021.07.091
1. 算法自动化决策概念
算法自动化决策是与自然人决策相对立的概念，意指利用计算机技术、算法程序、深度学习或神经网络替代自然人处理关键数据，凭借其自动生成对数据主体具有法律效果的决策的行为。《中华人民共和国个人信息保护法（草案）》将自动化决策定义为利用个人信息对个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，通过计算机程序自动分析、评估并进行决策的活动。
在《通用数据保护条例》中自动化决策又称为自主化的个人决策，其产生的合法性有三个途径，一是基于数据主体明确同意后的自动化处理;二是基于数据主体和另外一个数据控制者合同履行的必要;三是在控制者为数据主体，以及确立保护数据主体权利、自由和正当化利益的适当措施是联盟或成员国法律所规定时候。
自动化决策根据数据模型对数据主体作出反应或预测。因此，自动化决策分为预测型算法自动化决策和反应型算法自动化决策，反应型算法自动化决策的基本模型为收集数据——匹配条件——作出决策;预测性算法自动化决策是指根据以往的数据资料，预先对数据主体作出判断，最常见的预测性算法自动化决策是根据某人征信记录来限制高消费。预测型算法可以在事情发生之前调配资源进行合理分配，实现利益最大化。
2. 算法自动化决策的弊端
2.1 算法“黑箱”遮蔽当事人知情权
算法“黑箱”产生于信息的不对称和不公开。技术本身的复杂性以及媒体机构、技术公司的排他性商业政策，使得算法犹如一个未知的“黑箱”——用户并不清楚算法的目标和意图，也无从获悉算法设计者、实际控制者以及机器生成内容的责任归属等信息，更谈不上对其进行評判和监督。算法自动化决策的重要特点之一是在瞬间作出决定，因此信息处理者在每一次处理个人信息前想要取得每个信息主体的知情同意是不切实际的。从技术层面而言，每次的发送与反馈给节点带来了太多负担;从经济利益角度看，取消通知环节能够追求更多的利益，在巨大的利益面前，当事人的权利自然得不到重视。
2.2 算法歧视损害社会平等权
从数据客观主义出发，大多数人认为算法结果是完全中立的。但实践证明，逻辑上的中立并不等同于结果上的中立，即使是在事前预先设立的统一标准指令也可能表现出偏见，算法程序在预先编写时将人类的歧视文化连同数据一起归纳。只归纳不演绎，对样本数据偏见的输入使得算法自动化决策建立在通过刻板印象所形成的范畴上。针对一个新来的数据主体，计算机在没有外界所介入和更正的情况下，按照已知的数据特征将其自动归属于“最像”的那个类中。不考虑其他外在因素，只计算样本结果并依此作出决定，必然会扩大偏见与不公。与计算机相比，人脑在数据精准性上固然无法匹敌，但排除人脑的综合考虑因素和主观情感，以及某些时候数据无意缺失导致算法“双眼”的蒙蔽，在瞬间将某人分类的预前判断带来的是道德和伦理上的社会歧视。一个刚出狱的犯人可能因为算法的提前预判而失去改过自新的机会从而无法回归社会，社会鸿沟在无形中进一步加剧，法律所提倡的人人平等也因为过度信赖数据而导致形同虚设。
2.3 算法垄断侵蚀程序正义
算法技术作为商业秘密，期源代码都处于隐藏状态，运行方式并不公开。当算法作出具有法律效应的决策时，数据主体并没有参与其中，在得出结果的途中程序正义被忽视。技术公司垄断了硬件与算法系统的开发、设计和使用，在使用数据主体数据的同时却拒绝对公众公布算法收集处理数据的权限和过程，正当程序在某种程度上被架空，当事人无法参与决策过程。当事人参与决策过程是为了更好的事实认定和法律适用，但由于算法技术垄断，法院在适用决策结果时倾向于认定该结果是正确的，然后依照结论去推导过程。因为技术的不透明和垄断性，当事人很难参与到决策中去，程序上的权利被架空。算法作为一种极为复杂的技术，拉开了数据主体和数据控制者之间的差距，后者享有某种独特的算法权力。
3. 算法自动化决策的法律纠错机制
3.1 落实算法解释权
算法“解释权”是指数据主体有权要求数据控制者对算法决策的目的、过程、结果进行解释。早在1995年，欧美《数据保护指令》12条就规定了数据主体有权了解其个人数据如何被处理及数据自动化处理系统的内在逻辑。《个人信息保护法（草案）》第四十八条规定，个人有权要求个人信息处理者对其个人信息处理规则进行解释说明。但提出并不等于落实，草案中所规定的数据主体所拥有的算法解释权在具体落实上存在一些问题：1、算法解释权作为一种请求权，仅限于个人认为自动化决策对其产生重大影响时才能行使;2、数据主体行使请求权的范围尚不明确，导致数据控制者以企业享有商业秘密为由对抗算法解释权;3、算法的专业性和复杂性使得数据主体对解释的内容无法进行核实。
算法解释权作为一种请求权，应当从权利本身构成要件入手，对该项请求权的内核和外延予以精细化设计，为落实算法解释权提供切实可行的操作指南。首先，行权应当确权，一方面预先设定权利所包含的内容可以起到指导作用，另一方面内容的确定也是对于权利主体的一种约束，无限扩大权利内容会侵犯企业的商业秘密阻碍经济发展。其次，降低数据主体对于其权益造成重大影响这一事实的举证责任，只要主体认为自动化决策对其权益产生重要影响，就应当赋予其算法解释请求权，不要求主体具体说明其权益受到了多少损害。最后，解释方在收到数据主体解释请求权时，应该采取最通俗易懂的语言来描述其对于数据主体信息的利用和控制。 3.2 构建算法决策影响评估机制
算法自动化决策在投入使用前应该经过公众参与评估，影响评估机制既能扩大社会参与度，也能监督数据控制者和使用者。2018年4月，AI Now研究院就发布了一份有关算法影响评估（AIA）的报告，针对可能对数据主体权利造成影响的算法自动化决策系统，应允许社区和利益相关者进行评估，以确定是否可以以及在什么领域使用算法。我国也采用这种方法。个人算法决策影响评估机制应包含主体、内容、模型建构以及结果应用四个纬度。在评估主体上应该引入第三方辅助机制，算法评估是一项对技术要求比较高的活动，对于参与者的专业素养要求较高，一般普通人很难具有相关的知识水平，为了保证评估的准确性，数据主体有权聘请具有相关知识的人介入其中辅助理解算法含义。在评估内容方面，评估者应向公众解释所采取的评估机制是什么，他们获取个人数据的途径、使用目的、范围、时间、使用方法等。同时，问卷的编写不能只依靠评估者，对于样本数量的采集一定要尽可能保持全面和公正，使所得出来的结果具有弹性。在评估机制模型建构上，考虑到数据的不完整性和复杂性，采取贝叶斯网络模型可以更加清楚实现了解众多因素和决策影响之间的联系。经过数据主体参与评估所得出来的结果数据应用遵循“数据→评估报告→决策”的实践逻辑，数据和分析结果之间一一对应，分析结果和决策之间一一对应。决策实施后，评估者应该审核程序，发现、衡量或长期追踪系统的影响风险评估报告和处理情况记录应当至少保存三年。
3.3 赋予数据主体“更正权”
“更正权”赋予数据主体在自动化决策产生错误时向数据控制者提出异议且要求数据控制者进行更正决策的权利。目前我国对于数据主体的“更正权”定义为：本人得以请求信息处理主体对不正确、不全面、不时新的个人信息进行更正与补充的权利。其包含错误信息修改权与过期信息更新权两个方面。法律仅仅赋予了自然人个人信息更正权，没有赋予其他组织，对于其他组织的保护一片空白。其次，法人也仅能更正个人信息错误处或更新已经过时的个人信息，对于自动化决策本身的价值还是肯定的，偏信决策的误差来源于数据的错误。数据主体想要改变自动化决策只有当利益受损后向法院提起民事诉讼、行政复议、行政诉讼。因此，赋予数据主体自动化决策更正权是有现实意义的。
数据主体行使“更正权”不能仅简单将个人信息数据核实、更新后再次输入算法程序进行决策，当在数据主体提出自动化决策结果错误并且证明确有错误后，应对算法程序保有怀疑并适当进行人工介入。
4. 结语
媒介的发展让社会变得扁平化，但自动化决策过程却并不是公开的，“让所有人看到你的决策”不意味着让所有人参与自己的决策。算法黑箱、算法歧视、算法垄断以及知识鸿沟的出现使得数据主体无从知晓决策的原因，效率提高的同时人们的权益也在不断被侵害。问题解决的核心不在于算法应不应该作出决策，而在于算法是否能作出准确决策，以及事后能否给予救济，赛博空间也需要法律来维持稳定。
参考文献：
[1]唐林垚.“脱离算法自动化决策权”的虚幻承诺[J].东方法学，2020（06）：18-33.
[2]张凌寒.算法自动化决策与行政正当程序制度的冲突与调和[J].东方法學，2020（06）：4-17.
[3]张玉宏，秦志光，肖乐.大数据算法的歧视本质[J].自然辩证法研究，2017，33（05）：81-86.
[4]解正山.算法决策规制——以算法“解释权”为中心[J].现代法学，2020，42（01）：179-193.
[5]邹东升，陈昶."数据式"社会稳定风险评估：困境、逻辑与路径[J].情报杂志，2020，39（5）：129-136.DOI：10.3969/j.issn.1002-1965.2020.05.020.
[6]胡文娟.公共机构应如何评估算法决策的影响[J].WTO经济导刊，2018，No.174（04）：51-52.
[7]齐爱民.论个人信息的法律保护[J].苏州大学学报，2005（02）：30-35.
作者简介：姚玲，湖南工商大学法学与公共管理学院硕士研究生，研究方向为法理学。