论文部分内容阅读
大数据技术是近年来全球高度关注的一项新兴信息技术，被誉为一场新的计算革命，将对现实世界产生深远影响，是构成国家竞争力、商业竞争力和个人素质的重要部分，因此，各国都希望在大数据技术研发与应用上占得先机。然而，正像所有的新兴技术一样，大数据也存在着被人滥用、扩大社会不平等的弊端，有着不光彩的一面。此外，大数据技术还可能对国家安全带来新的挑战，有必要在发展该技术同时预先关注其潜在风险。
数据的最好时代
2001年，美国著名咨询公司高德纳首次提出了“三维数据”的概念，认为在互联网信息爆炸的时代，数据处理技术将向“三个维度”发展，即数据处理量不断扩大、数据处理速度不断加快、数据归类分析能力不断加强。这一概念成为了大数据技术的前身。
2012年，大数据突然成为了国际舆论的热词，不仅登上了《纽约时报》、《华尔街日报》等国际主流媒体封面，更引发了美国政府的高度关注。同年底，一本名为《大数据时代》的著作将这股风潮推向顶峰，该书对大数据技术的概念、应用前景和影响进行了系统介绍，并前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，它将开启一次重大的时代转型。
从当前的研究成果看，大数据技术在以下三个方面有超越以往数据处理技术的独到优势：一是解决了信息爆炸时代的数据碎片化问题。大数据技术诞生之前，人们认为随着互联网上的信息量以几何级别增长，其增长速度将远超过人类理解和计算机分类处理的速度。最终，互联网上的信息会杂乱无章，大量无用的信息“淹没”有用信息，互联网不仅未能帮助人类认识世界，反而成为了信息的“垃圾场”。大数据技术从另一个方向入手解决了这一难题，该技术不再试图去“追逐”信息产生的速度，而是从源头上对信息进行分类管理，并在一开始就过滤掉大量无用的信息。如果说传统的数据处理模式类似于邮递员分拣邮件，那么大数据就像矿井里的选矿，是将数据磨碎后再进行分类存放。
二是解决了数据样本数量、有用性和准确性之间的矛盾。传统观点认为，样本过多将导致研究分析的难度显著上升，而且可能由于多个样本之间的差异而得出相互矛盾的结论。因此，一般研究中都对样本的范围、数量进行严格控制。但是，控制样本数量又可能导致另一个问题，即因样本不够普遍而得出片面、不准确的结论。大数据则对这个三重矛盾提出了一个创新性的解决方法。大数据技术不再关心单个数据样本本身的内容和价值，而是寻找数据样本之间的关系、联系及相互影响。利用这些数据之间的关系，大数据像拼图一样将数据样本拼接在一起，最终得出一个完整的图景。样本越多只会让这幅“拼图”更加细致、完整，从而增加结论的准确性。因此，大数据在分析大趋势、概率方面有着独到优势。
三是具备了智能和学习功能。传统的数据分析技术需要根据对象和目标进行较深程度的定制，建设数据模型的成本很高，系统封闭且模型无法反复使用。这也导致数据分析无法不断深入，只能停留在较低的层次上。大数据技术则有所不同，该技术不仅分析“已存在”的数据样本，而且还分析“正在生成”的数据样本。因此，大数据是一项开放、有“生命力”的技术，其分析结果持续被修正、完善，可以与人工智能或其他技术进行“嫁接”，从而使大数据能够具有学习和智能分析的功能。
基于这些优势，政府、企业都将大数据视为一种革命性技术，在社会管理、商业开发和个人服务上均具有巨大潜力。当前，大数据分析已在情报分析、营销等方面有着成功的应用案例。2012年，美国中情局技术总监在一场科技活动中称，大数据使中情局的情报分析速度有质的飞跃。之前，中情局针对某一研究对象需要63天分析有关材料，而运用大数据技术后，速度被缩短至27分钟。该官员称，大数据已被广泛使用在反恐情报中，美国情报部门能据此确定恐怖分子的身份。大数据在营销中的使用就更为普遍，早在大数据这一概念诞生前，亚马逊等电商就已经开始使用此类技术推送促销信息，向消费者推荐其可能感兴趣的商品。
大数据在趋势预测方面的价值还有待挖掘。本届巴西世界杯举行期间，包括微软、谷歌等互联网公司已经开始试着用大数据技术预测比分结果和最终冠军。也有一些投资机构开始尝试运用大数据预测股市和大宗商品价格等，但从当前情况看，上述大数据模型仍不够成熟，其预测结果还不够靠谱。
隐私的最坏时代
虽然大数据技术前景广大，并且能给民众的生活带来方便和福祉，然而，在一些批评人士的眼中，这一技术并非完美，甚至有些卑鄙。如果大数据技术的发展走上了邪路，它也可能成为一种新形式的霸权。
这些针对大数据的批评可被概括为以下四种：一是大数据技术严重侵犯了个人隐私。大数据表面上是一种神乎其神的数字技术，实际上只是“未经授权的商业调查”。大数据的真正获益者并非普通民众，而是利用大数据技术分析的商家，大数据成为后者操控前者的一种工具。此外，大数据技术抓取的数据来源多是带有隐私成分的个人信息，如果将其联系到一起，某个人的一举一动就会跃然纸上。批评人士指出，无论是利用这些隐私信息引诱消费者购买其偏好的商品，还是保存这些信息本身都是极不道德的行为。当前法律框架下未有对此的严格约束。
二是认为大数据技术可能被政府滥用，产生类似于“老大哥”的社会。在奥威尔的经典著作《1984》中，政府建设出了一个监控无所不在的社会。而在现实生活中，美国国安局的网络监视行为也可谓无孔不入。人们担心，如果大数据技术发展成熟，该技术可能成为一些国家政府监控其国民的重要工具。毫无疑问，这将使社会陷入极度恐慌之中，公平和正义将成为空谈。
三是认为大数据可能导致“大错误”。虽然从理论上来说，大数据的预测能力会不断增强，但这项技术毕竟不能消除所有的不确定性和随机性，其预测结果不会永远正确。另外，大数据还有着样本取样趋同、运算模型近似的特点，这可能导致若干依赖大数据预测的机构都忽视了同样的风险，并且在变动发生时做出过激的反应。高频交易导致市场崩溃的例证警告着我们，当一个社会高度依赖大数据技术时，这也将会是一个随时可能崩盘、极为危险的社会。
四是认为大数据将助长贫富分化和知识鸿沟。大数据技术需要海量的数据存储、运算设备提供硬件支持，其运算模型设计需要最顶尖的计算机人才。因此，大数据是一项门槛极高的信息技术。当前，微软、英特尔、亚马逊等互联网巨头才是这项技术的主要玩家，一些新创立的公司要想跻身其中难上加难，更不用说一般互联网用户或普通民众了。但另一方面，大数据确实有着独特优势，可以从网络数据中率先发掘出财富。这导致了大数据可能成为一种带有垄断性质的信息技术，可能更有利于商业巨头和知识精英，但却会拉大社会上业已存在的不平等问题。
大数据时代的数字边疆
大数据技术让人们从另一个角度认识到数字边疆的重要性。在大数据时代，一国之内及其国民创造的数字财富的价值得到凸显。这些数字财富不仅代表着巨大的商业利益，也可能成为另一国对本国发动舆论战、金融战的重要抓手。利用大数据技术，一些国家可以在悄无声息的情况下对另一国进行细致的情报搜集工作，并且能够根据大数据的预测设计出有针对性的舆论战、金融战方案。这些都是传统国家安全领域从未遇到的问题。在这个新的角逐场中，发展中国家由于信息科技技术无法自主、国内研发水平较低、缺乏相关研究，毫无疑问居于劣势。而美国在9.11事件后已在网络情报领域持续发力，领先其他国家一个身位。“棱镜门”事件中暴露出的情况不仅揭示了美国在价值观上的虚伪，也清楚表露出其在信息技术上的超前。
在一国数字边疆内部，大数据也提出了一些新的挑战。挑战之一是大数据带来的系统性风险，如何避免大数据预测错误导致的市场剧烈波动或社会控制混乱，这需要国家利用法律对大数据的垄断程度和应用范围加以限制。挑战之二是大数据带来的新型网络攻击和诈骗，大数据技术的发展必然伴随着网络信息抓取技术的不断演进，而这种技术也可轻易用在网络攻击和网络诈骗之中，这需要国家的执法者们对该技术有着深入认识，未雨绸缪的发现某些犯罪行为。
（作者为中国现代国际关系研究院美国所助理研究员）
数据的最好时代
2001年，美国著名咨询公司高德纳首次提出了“三维数据”的概念，认为在互联网信息爆炸的时代，数据处理技术将向“三个维度”发展，即数据处理量不断扩大、数据处理速度不断加快、数据归类分析能力不断加强。这一概念成为了大数据技术的前身。
2012年，大数据突然成为了国际舆论的热词，不仅登上了《纽约时报》、《华尔街日报》等国际主流媒体封面，更引发了美国政府的高度关注。同年底，一本名为《大数据时代》的著作将这股风潮推向顶峰，该书对大数据技术的概念、应用前景和影响进行了系统介绍，并前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，它将开启一次重大的时代转型。
从当前的研究成果看，大数据技术在以下三个方面有超越以往数据处理技术的独到优势：一是解决了信息爆炸时代的数据碎片化问题。大数据技术诞生之前，人们认为随着互联网上的信息量以几何级别增长，其增长速度将远超过人类理解和计算机分类处理的速度。最终，互联网上的信息会杂乱无章，大量无用的信息“淹没”有用信息，互联网不仅未能帮助人类认识世界，反而成为了信息的“垃圾场”。大数据技术从另一个方向入手解决了这一难题，该技术不再试图去“追逐”信息产生的速度，而是从源头上对信息进行分类管理，并在一开始就过滤掉大量无用的信息。如果说传统的数据处理模式类似于邮递员分拣邮件，那么大数据就像矿井里的选矿，是将数据磨碎后再进行分类存放。
二是解决了数据样本数量、有用性和准确性之间的矛盾。传统观点认为，样本过多将导致研究分析的难度显著上升，而且可能由于多个样本之间的差异而得出相互矛盾的结论。因此，一般研究中都对样本的范围、数量进行严格控制。但是，控制样本数量又可能导致另一个问题，即因样本不够普遍而得出片面、不准确的结论。大数据则对这个三重矛盾提出了一个创新性的解决方法。大数据技术不再关心单个数据样本本身的内容和价值，而是寻找数据样本之间的关系、联系及相互影响。利用这些数据之间的关系，大数据像拼图一样将数据样本拼接在一起，最终得出一个完整的图景。样本越多只会让这幅“拼图”更加细致、完整，从而增加结论的准确性。因此，大数据在分析大趋势、概率方面有着独到优势。
三是具备了智能和学习功能。传统的数据分析技术需要根据对象和目标进行较深程度的定制，建设数据模型的成本很高，系统封闭且模型无法反复使用。这也导致数据分析无法不断深入，只能停留在较低的层次上。大数据技术则有所不同，该技术不仅分析“已存在”的数据样本，而且还分析“正在生成”的数据样本。因此，大数据是一项开放、有“生命力”的技术，其分析结果持续被修正、完善，可以与人工智能或其他技术进行“嫁接”，从而使大数据能够具有学习和智能分析的功能。
基于这些优势，政府、企业都将大数据视为一种革命性技术，在社会管理、商业开发和个人服务上均具有巨大潜力。当前，大数据分析已在情报分析、营销等方面有着成功的应用案例。2012年，美国中情局技术总监在一场科技活动中称，大数据使中情局的情报分析速度有质的飞跃。之前，中情局针对某一研究对象需要63天分析有关材料，而运用大数据技术后，速度被缩短至27分钟。该官员称，大数据已被广泛使用在反恐情报中，美国情报部门能据此确定恐怖分子的身份。大数据在营销中的使用就更为普遍，早在大数据这一概念诞生前，亚马逊等电商就已经开始使用此类技术推送促销信息，向消费者推荐其可能感兴趣的商品。
大数据在趋势预测方面的价值还有待挖掘。本届巴西世界杯举行期间，包括微软、谷歌等互联网公司已经开始试着用大数据技术预测比分结果和最终冠军。也有一些投资机构开始尝试运用大数据预测股市和大宗商品价格等，但从当前情况看，上述大数据模型仍不够成熟，其预测结果还不够靠谱。
隐私的最坏时代
虽然大数据技术前景广大，并且能给民众的生活带来方便和福祉，然而，在一些批评人士的眼中，这一技术并非完美，甚至有些卑鄙。如果大数据技术的发展走上了邪路，它也可能成为一种新形式的霸权。
这些针对大数据的批评可被概括为以下四种：一是大数据技术严重侵犯了个人隐私。大数据表面上是一种神乎其神的数字技术，实际上只是“未经授权的商业调查”。大数据的真正获益者并非普通民众，而是利用大数据技术分析的商家，大数据成为后者操控前者的一种工具。此外，大数据技术抓取的数据来源多是带有隐私成分的个人信息，如果将其联系到一起，某个人的一举一动就会跃然纸上。批评人士指出，无论是利用这些隐私信息引诱消费者购买其偏好的商品，还是保存这些信息本身都是极不道德的行为。当前法律框架下未有对此的严格约束。
二是认为大数据技术可能被政府滥用，产生类似于“老大哥”的社会。在奥威尔的经典著作《1984》中，政府建设出了一个监控无所不在的社会。而在现实生活中，美国国安局的网络监视行为也可谓无孔不入。人们担心，如果大数据技术发展成熟，该技术可能成为一些国家政府监控其国民的重要工具。毫无疑问，这将使社会陷入极度恐慌之中，公平和正义将成为空谈。
三是认为大数据可能导致“大错误”。虽然从理论上来说，大数据的预测能力会不断增强，但这项技术毕竟不能消除所有的不确定性和随机性，其预测结果不会永远正确。另外，大数据还有着样本取样趋同、运算模型近似的特点，这可能导致若干依赖大数据预测的机构都忽视了同样的风险，并且在变动发生时做出过激的反应。高频交易导致市场崩溃的例证警告着我们，当一个社会高度依赖大数据技术时，这也将会是一个随时可能崩盘、极为危险的社会。
四是认为大数据将助长贫富分化和知识鸿沟。大数据技术需要海量的数据存储、运算设备提供硬件支持，其运算模型设计需要最顶尖的计算机人才。因此，大数据是一项门槛极高的信息技术。当前，微软、英特尔、亚马逊等互联网巨头才是这项技术的主要玩家，一些新创立的公司要想跻身其中难上加难，更不用说一般互联网用户或普通民众了。但另一方面，大数据确实有着独特优势，可以从网络数据中率先发掘出财富。这导致了大数据可能成为一种带有垄断性质的信息技术，可能更有利于商业巨头和知识精英，但却会拉大社会上业已存在的不平等问题。
大数据时代的数字边疆
大数据技术让人们从另一个角度认识到数字边疆的重要性。在大数据时代，一国之内及其国民创造的数字财富的价值得到凸显。这些数字财富不仅代表着巨大的商业利益，也可能成为另一国对本国发动舆论战、金融战的重要抓手。利用大数据技术，一些国家可以在悄无声息的情况下对另一国进行细致的情报搜集工作，并且能够根据大数据的预测设计出有针对性的舆论战、金融战方案。这些都是传统国家安全领域从未遇到的问题。在这个新的角逐场中，发展中国家由于信息科技技术无法自主、国内研发水平较低、缺乏相关研究，毫无疑问居于劣势。而美国在9.11事件后已在网络情报领域持续发力，领先其他国家一个身位。“棱镜门”事件中暴露出的情况不仅揭示了美国在价值观上的虚伪，也清楚表露出其在信息技术上的超前。
在一国数字边疆内部，大数据也提出了一些新的挑战。挑战之一是大数据带来的系统性风险，如何避免大数据预测错误导致的市场剧烈波动或社会控制混乱，这需要国家利用法律对大数据的垄断程度和应用范围加以限制。挑战之二是大数据带来的新型网络攻击和诈骗，大数据技术的发展必然伴随着网络信息抓取技术的不断演进，而这种技术也可轻易用在网络攻击和网络诈骗之中，这需要国家的执法者们对该技术有着深入认识，未雨绸缪的发现某些犯罪行为。
（作者为中国现代国际关系研究院美国所助理研究员）