论文部分内容阅读
隔墙有耳
使用苹果手机或苹果产品的人，都知道西瑞（Siri），她（姑且用“她”，因为是女音）是一位智能语音助手，能和用户进行智能对话。不过，现在她的一种做法让人惊出冷汗：西瑞被意外激活时，会记录下来一些声音，并在用户不知情的情况下，发送给苹果公司“评分员”进行人工评估。
毫无疑问，这是人工智能产生和触发的伦理问题，直指人工智能的要害，即人工智能产品是否安全，以及能否保护公众的个人隐私。
苹果公司马上进行了解释。一是西瑞偷偷录音并传给第三者即“评分员”，是为了更好地改善西瑞的功能。二是录音只是小部分西瑞被自动激活后的结果，而且这些录音也只有1%被用于评级。三是被偷录下来的音频传送给的第三者只是审核者（评分员），所有审核者都有义务遵守苹果公司严格的保密要求。而且，这些偷录的音频时间也很短，通常只有几秒钟。也就是说，即便西瑞被激活偷偷录音并传给他人，也是可以保密的。
不过，事情并非那么简单，现有的很多情况表明，西瑞偷录用户的声音隐藏着极大的不安全性。一是西瑞很敏感很兴奋，简直就是一位躁动不安的怀春少女，尤其是手表中的西瑞，只要叫一声西瑞或出现与西瑞发音相似的语音，她就会及时应答和被激活。2018年英国国防大臣加文·威廉森在议会发言中说到叙利亚（Syria）时，就激活了西瑞。
另外，西瑞偷录下的音频也并非如苹果公司所称的只有几秒钟，而是30秒之久，这个时长的录音足以让人准确分析出谈话内容。
藏不住的隐私
偷偷录音，其实是许多电子产品、智能软件的共同做法。目前很多智能产品中都有语音助手，这些语音助手与使用者形成了亲密关系，使用者不仅会让它报时、查询天气等，还会跟语音助手聊天。
由于语音助手的智能化还不足以完全通过图灵测试（一种对于机器的测试，如果机器通过图灵测试则被认为具有人类智能），就使得用户与它的聊天成为一件很有意思的事，它可能会答非所问，也可能会与用户不在一个逻辑平台，还可能以一种意想不到的答案来回复。凡此种种，都会让用户乐不可支，其功能有时相当于宠物狗或宠物猫，能缓解人们的心理压力。
不过，大多数智能产品的语音助手也担负着另一项任务：通过录下与人们的谈话过程，对谈话的内容、语音、语速和语调等进行分析，对语音做标注和反馈，从而形成人工智能的深度学习算法，以帮助和进一步训练语音助手，让其更智能地与用户通话、聊天。而且还可能通过大数据积累，有朝一日突破图灵测试，提升人与语音助手交流的可靠性、逻辑性和理性，甚至还具有情感。这也正是人工智能的高级目标。
但是，在搜集和录下用户的语言和语音并进行分析时，智能产品的设计者和生产者并不会主动告诉用户，而且还会把用户的个人隐私泄露出去。
德国联邦议院于2019年7月发布评估报告称，美国亚马逊公司的亚历克萨（Alexa）语音系统对用户有风险。亚马逊公司回复称，录制用户谈话的目的是训练亚历克萨，以提升其语音服务的质量。尽管亚马逊在其语音助手设置中增加了一个新选项——允许用户选择自己的录音不被“人工分析”，但这一选项隐藏在隐私设置的子菜单中，不特别注意，往往留意不到，也就会默认可以录音并用作人工分析的用途。
同样，谷歌智能助手也在偷录用户的语音。据比利时弗拉芒广播电视台报道，已有超1000个谷歌智能助手录音内容被泄露。
当然，偷录也并非一无是处。2018年10月2日，沙特阿拉伯记者贾迈勒·卡舒吉在进入沙特驻土耳其伊斯坦布尔领事馆后，再没有出来。事后调查确认卡舒吉是在使馆内被杀，案件侦破的线索之一就是卡舒吉手上所戴的苹果手表。案发时手表中的西瑞被激活，私录了一段音频并传出，进而帮助刑侦人员破案。
天黑请关手机
2018年，微软发表了《未来计算》（The Future Computed）一书，其中提出了人工智能开发的六大伦理原则：公平、可靠和安全、隐私和保障、包容、透明、责任。其实，人工智能的伦理并非只是这6项，至少还应当有知情、同意。
智能产品中的语音助手私自和偷录用户的谈话内容和语音，显然是既违背了人工智能的可靠和安全、隐私和保障，但更直接的是违背了知情同意原则。面对这种情况该怎么办呢？
一方面，政府部门可以依法要求智能手机的生产者停止偷录用户的语音。欧洲和美国的监管机构和立法机构正在对谷歌、苹果和亚马逊进行调查，审核上述三家公司是否涉嫌侵犯用户隐私，聘用专员听取用户使用电子助手时发出的指令。
另一方面，用户和政府部门也可起诉手机生产者，法律依据就是欧盟2018年5月25日出台的《通用数据保护条例》（GDPR）和其他国家关于通信保护和隐私保护的法律。在GDPR中，个人数据的处理有6项法律依据，其中之一就是“同意”。
GDPR第四条第十一款将“同意”定义为：“数据主体的同意是指，数据主体依照其意愿自由做出的、特定的、知情的、明确的指示。通过以声明或清晰肯定的行为做出的该指示，数据主体表明其同意处理与其相关的个人数据。”现在看来，西瑞偷录用户音频并送至第三方的行为，明显违背了知情同意原则。
根据GDPR，爱尔兰数据保护委员会2018年12月宣布，由于“Facebook发布了一系列用户数据泄露的通知”，数千万用户的个人数据被分享到剑桥分析公司，“委员会”已在调查此案，并且会根据GDPR的规定对一家公司最高可处以占其全球收入4%的罚款，对Facebook来说，相当于超过15亿美元。不过，“这只鞋子还未落地。”
“已经掉下来的鞋子”是，美国联邦贸易委员会（FTC）对Facebook开出了50亿美元的和解罚单，这也是FTC开出的史上最大罚单。原因也是，一年前，数千万Facebook用户的数据未经用户知情同意，落入剑桥分析公司手中。尽管美国没有相同的GDPR法律，但有其他相似的法律和规定。FTC指控Facebook违反了其2012年与FTC达成的和解令，即Facebook想收集和共享用戶数据，需要获得消费者的明确同意，但是Facebook违背了知情同意原则。
苹果的西瑞私自偷录用户的私密音频并传递给第三方是否会受到起诉和调查，目前尚不知晓，而且即便闹到法庭，可能也会一波三折，还会有激烈的攻防战，但是西瑞的这种偷录做法显然已经违背了人工智能的基本伦理，需要有更强硬和详尽的管理措施。
在问题还没有解决之前而且又在使用苹果产品的人该怎么办呢？可以稍为宽心的是，目前苹果已停止人工语音分析业务。但是，用户也应当自己采取行动，加强隐私保护，比方说，做私密事时摘下苹果手表或关机。
使用苹果手机或苹果产品的人，都知道西瑞（Siri），她（姑且用“她”，因为是女音）是一位智能语音助手，能和用户进行智能对话。不过，现在她的一种做法让人惊出冷汗：西瑞被意外激活时，会记录下来一些声音，并在用户不知情的情况下，发送给苹果公司“评分员”进行人工评估。
毫无疑问，这是人工智能产生和触发的伦理问题，直指人工智能的要害，即人工智能产品是否安全，以及能否保护公众的个人隐私。
苹果公司马上进行了解释。一是西瑞偷偷录音并传给第三者即“评分员”，是为了更好地改善西瑞的功能。二是录音只是小部分西瑞被自动激活后的结果，而且这些录音也只有1%被用于评级。三是被偷录下来的音频传送给的第三者只是审核者（评分员），所有审核者都有义务遵守苹果公司严格的保密要求。而且，这些偷录的音频时间也很短，通常只有几秒钟。也就是说，即便西瑞被激活偷偷录音并传给他人，也是可以保密的。
不过，事情并非那么简单，现有的很多情况表明，西瑞偷录用户的声音隐藏着极大的不安全性。一是西瑞很敏感很兴奋，简直就是一位躁动不安的怀春少女，尤其是手表中的西瑞，只要叫一声西瑞或出现与西瑞发音相似的语音，她就会及时应答和被激活。2018年英国国防大臣加文·威廉森在议会发言中说到叙利亚（Syria）时，就激活了西瑞。
另外，西瑞偷录下的音频也并非如苹果公司所称的只有几秒钟，而是30秒之久，这个时长的录音足以让人准确分析出谈话内容。
藏不住的隐私
偷偷录音，其实是许多电子产品、智能软件的共同做法。目前很多智能产品中都有语音助手，这些语音助手与使用者形成了亲密关系，使用者不仅会让它报时、查询天气等，还会跟语音助手聊天。
由于语音助手的智能化还不足以完全通过图灵测试（一种对于机器的测试，如果机器通过图灵测试则被认为具有人类智能），就使得用户与它的聊天成为一件很有意思的事，它可能会答非所问，也可能会与用户不在一个逻辑平台，还可能以一种意想不到的答案来回复。凡此种种，都会让用户乐不可支，其功能有时相当于宠物狗或宠物猫，能缓解人们的心理压力。
不过，大多数智能产品的语音助手也担负着另一项任务：通过录下与人们的谈话过程，对谈话的内容、语音、语速和语调等进行分析，对语音做标注和反馈，从而形成人工智能的深度学习算法，以帮助和进一步训练语音助手，让其更智能地与用户通话、聊天。而且还可能通过大数据积累，有朝一日突破图灵测试，提升人与语音助手交流的可靠性、逻辑性和理性，甚至还具有情感。这也正是人工智能的高级目标。
但是，在搜集和录下用户的语言和语音并进行分析时，智能产品的设计者和生产者并不会主动告诉用户，而且还会把用户的个人隐私泄露出去。
德国联邦议院于2019年7月发布评估报告称，美国亚马逊公司的亚历克萨（Alexa）语音系统对用户有风险。亚马逊公司回复称，录制用户谈话的目的是训练亚历克萨，以提升其语音服务的质量。尽管亚马逊在其语音助手设置中增加了一个新选项——允许用户选择自己的录音不被“人工分析”，但这一选项隐藏在隐私设置的子菜单中，不特别注意，往往留意不到，也就会默认可以录音并用作人工分析的用途。
同样，谷歌智能助手也在偷录用户的语音。据比利时弗拉芒广播电视台报道，已有超1000个谷歌智能助手录音内容被泄露。
当然，偷录也并非一无是处。2018年10月2日，沙特阿拉伯记者贾迈勒·卡舒吉在进入沙特驻土耳其伊斯坦布尔领事馆后，再没有出来。事后调查确认卡舒吉是在使馆内被杀，案件侦破的线索之一就是卡舒吉手上所戴的苹果手表。案发时手表中的西瑞被激活，私录了一段音频并传出，进而帮助刑侦人员破案。
天黑请关手机
2018年，微软发表了《未来计算》（The Future Computed）一书，其中提出了人工智能开发的六大伦理原则：公平、可靠和安全、隐私和保障、包容、透明、责任。其实，人工智能的伦理并非只是这6项，至少还应当有知情、同意。
智能产品中的语音助手私自和偷录用户的谈话内容和语音，显然是既违背了人工智能的可靠和安全、隐私和保障，但更直接的是违背了知情同意原则。面对这种情况该怎么办呢？
一方面，政府部门可以依法要求智能手机的生产者停止偷录用户的语音。欧洲和美国的监管机构和立法机构正在对谷歌、苹果和亚马逊进行调查，审核上述三家公司是否涉嫌侵犯用户隐私，聘用专员听取用户使用电子助手时发出的指令。
另一方面，用户和政府部门也可起诉手机生产者，法律依据就是欧盟2018年5月25日出台的《通用数据保护条例》（GDPR）和其他国家关于通信保护和隐私保护的法律。在GDPR中，个人数据的处理有6项法律依据，其中之一就是“同意”。
GDPR第四条第十一款将“同意”定义为：“数据主体的同意是指，数据主体依照其意愿自由做出的、特定的、知情的、明确的指示。通过以声明或清晰肯定的行为做出的该指示，数据主体表明其同意处理与其相关的个人数据。”现在看来，西瑞偷录用户音频并送至第三方的行为，明显违背了知情同意原则。
根据GDPR，爱尔兰数据保护委员会2018年12月宣布，由于“Facebook发布了一系列用户数据泄露的通知”，数千万用户的个人数据被分享到剑桥分析公司，“委员会”已在调查此案，并且会根据GDPR的规定对一家公司最高可处以占其全球收入4%的罚款，对Facebook来说，相当于超过15亿美元。不过，“这只鞋子还未落地。”
“已经掉下来的鞋子”是，美国联邦贸易委员会（FTC）对Facebook开出了50亿美元的和解罚单，这也是FTC开出的史上最大罚单。原因也是，一年前，数千万Facebook用户的数据未经用户知情同意，落入剑桥分析公司手中。尽管美国没有相同的GDPR法律，但有其他相似的法律和规定。FTC指控Facebook违反了其2012年与FTC达成的和解令，即Facebook想收集和共享用戶数据，需要获得消费者的明确同意，但是Facebook违背了知情同意原则。
苹果的西瑞私自偷录用户的私密音频并传递给第三方是否会受到起诉和调查，目前尚不知晓，而且即便闹到法庭，可能也会一波三折，还会有激烈的攻防战，但是西瑞的这种偷录做法显然已经违背了人工智能的基本伦理，需要有更强硬和详尽的管理措施。
在问题还没有解决之前而且又在使用苹果产品的人该怎么办呢？可以稍为宽心的是，目前苹果已停止人工语音分析业务。但是，用户也应当自己采取行动，加强隐私保护，比方说，做私密事时摘下苹果手表或关机。