大数据时代信息获取技术研究

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:tsao8883
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:自人类经过两次工业革命的洗礼以后,解放和提高生产力已经成为科技不断进步追求的重要目标。二十一世纪以来信息技术的不断升级,计算量和计算能力的不断扩增和提高,催生和带动了信息时代的来临,以“云计算”为代表的“大数据”时代开启的现代科技进步的新篇章。该文阐述了“大数据”背景下对原始数据的获取的技术研究,主要通过以阿里巴巴为例来阐述这一问题。
  关键词:大数据时代;信息获取;技术;研究
  中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2018)03-0003-02
  1 概述
  1.1 信息获取技术
  “云计算”的强大之处在于当信息量处于以兆亿为基础时,通过高等算法将信息批量化处理分级,统计计算其宏观规律,获得小信息量下很难得到的规律和前瞻性判断,从而得到对事情的提前预知和预测。但是“云計算”这个超级大脑需要足够的信息量作为其判断的准则和事件分析的基础。就好像古代战争中的“军师”需要大量的信息才能对战争进行准确的判断和分析,并对战局进行准确的调整,从而获得战争的胜利。
  所以“大数据时代”信息的获取显得尤为关键。计算机并不能像我们的大脑一样处理丰富来源的信息,需要人为地将各种各样的信息转化成数字信息来完成原始信息的积累。现代的信息获取技术主要呈现为以下三种类型:
  1) 传感技术
  通俗地讲,传感技术就是传感器的技术,就像人类的我们的感受神经元一样,传感器是指可以感知周围环境或者特殊物质,比如气体信息感知、光线信息感知、温湿度信息感知、人体生理信息感知等等,把模拟信号转化成数字信号,给中央处理器处理也就是中枢神经。最终结果形成气体浓度参数、光线强度参数、范围内是否有人探测、温度湿度数据等等,显示出来,最终储存至储存单元。
  2) 遥测技术
  遥测是主要利用传感技术、通信技术和数据处理技术的一门综合性技术。遥测主要用于我们常说的“触不可及”的地方,也就是集中检测分散的或难以接近的被测对象。例如被测对象的地理距离遥远,所处环境恶劣,或处于高速运动的状态。当前的还处于发展状态,随着人类活动空间的增长,遥测技术也在日新月异是信息获取能力进步的重要信息源。
  3) 遥感技术
  运用现代化的运载工具和传感器,通过该信息的传输、贮存、卫星、修正、识别目标物体,从远距离获取目标物体的电磁波特性,最终实现其功能(定时、定位、定性、定量)。根据洛伦兹的电磁波的理论,应用不同的传感仪器对具有一定空间限制的远距离目标所辐射和反射的电磁波信息,进行收集、处理,并最后在终端成像,通过遥感技术,我们可以探究“天外天,山外山”,收集人类生理水平达不到的信息。
  1.2 阿里巴巴信息获取技术现状
  自2008年初,马云率领的阿里集团通过对用户行为数据的挖掘和分析,发现整体买家询盘数急速下滑,与此同时,欧美对中国采购也与日俱减。阿里集团在提前半年的时间里,准确预测出世界外贸经济的走势,从而躲避了金融危机,可以说阿里巴巴不管是对原始信息的获取还是对数据的“云计算”都走在和行业的前端,以下是笔者对阿里巴巴的信息获取技术现状进行的简要分析。
  1) 业务分类
  阿里巴巴目前已经形成了一个以支付手段为核心的连接点,围绕着电子商务核心业务及支撑电子商务体系的金融业务,以及配套的本地生活服务、健康医疗等,这一商业生态圈的核心旨在共享数据及流量,以营销服务及云服务为基础,而有效数据的整合抓手就是支付宝。
  主要业务包括:淘宝网、天猫、聚划算、一淘、阿里音乐集团、支付宝、阿里巴巴国际交易市场、全球速卖通、1688、阿里云计算。
  2) 信息获取途径
  第一、利用间接信息处理。通过在渠道上上购买某搜索公司的原始信息进行数据化分析。但是当购买数量较大时,即便这可能不是实时更新的资料,也会存在一定的互联网用户的数据资料。搜索引擎公司通过利用广告联盟的平台,在其间接公布的用户搜索的画像数据直接利用,从而完成信息的原始积累。
  第二、合理利用各端口用户的Cookie数据。当我们作为用户在使用手机或电脑浏览淘宝的同时,会自动生成Cookie文件,并发送给远端的服务器。计算机会在在用户的端口中暂时存放的资料(一般是以.txt格式存放的文本文件)。
  第三、利用APP软件的用户信息。阿里巴巴旗下有众多的APP应用软件,涉猎各个领域。日前,APP所带来的用户数据是获取目标用户移动端数据的有效手段之一。在APP中预埋SDK插件,用户所使用的APP内容就能够及时将数据信息汇总至指定服务器。
  第四、直接和拥有稳定数据源的企业进行长期合作。阿里巴巴的自身价值链相对健全,数据变现的通道比较完备,不会轻易输出与第三方合作的数据(获取除外)。但是作为商业团体,阿里巴巴的商业生态有一套完整的获取信息的链条。
  1.3 信息获取技术应用存在的问题
  第一是数据访问数量带来的成本问题:数据访问数量通常涵盖实时地与各种数据库的管理系统进行安全访问的数据,其中包括结构化数据和非结构化数据。就数据访问而言,随着实施大数据项目的每日剧增,项目实施前进行优化存储策略是十分重要的。我们可以通过评估当前的数据存储技术并对数据存储能力进行改进和加强,最大限度地利用现有的存储投资。当前情况为每两年的数据量会增长一倍以上,可见数量之巨大,因此数据管理成本是一个需要着重考虑的问题。
  第二是数据可用性比例:大数据的信息涵盖了基于云或者传统机制的数据存储、归档、备份、灾难恢复等,这些都是左右信息可用比例的重要因素。
  第三是数据分析能力的不足:目前数据分析能力涵盖了通过智能计算、事件关联分析、IT装置以及模式识别、实时及预测分析等分析技术进行数据分析。但要进一步完善自身以及在更广泛的范围内寻求大数据的价值还有很多要提高的地方。   第四信息管道的欠缺:以传统方式对企业的数据进行思考,从原始数据中产出的高价值回报,能够使企业获得暂时的竞争优势、财务回报。但是只有通过对数据的完整生命周期进行策略性思考,并详细地部署计划信息利用的每一层面,企业必定会从大数据中获得巨大收益。
  2 大数据时代背景下信息获取技术应用现存问题的产生机理
  2.1 大数据发展资金支持较为薄弱
  资金不足是企业发展大数据信息获取技术应用的首要限制原因。因为并不是所有企业都像目前国内几大互联网巨头一样拥有充足的资金作为后盾。这就是为什么大数据系统拥有多样化功能和作用,发展依旧缓慢的重要原因,因为需要支出高昂的成本来建立信息获取技术和手段。信息获取技术越完备、越先进,所需要的资金量就越大。
  2.2 管理体系不够完善
  对于一个企业而言,推动大数据信息获取技术应用的重要前提是对于管理者的选择。然而,从现实情况看,企业的管理者往往缺乏对发展建设大数据信息获取技术的积极性。一方面管理者缺乏卓越的能力和远见没有明确的规划战略;另一方面则是受原本的限制条件有着直接的关系。因为就企业而言,优先选择的方向绝大多数倾向于尽快地增加收入、发展壮大,而大数据的作用尽管明显,但其时效性相对不高,尤其是在信息采集技术的发展阶段回报更是微乎其微。在此情况下,企业普遍被迫放缓建设大数据的速度,更多地将有限的资金投入到有直接效益产出的领域。
  2.3 信息化基础较差
  建设与使用大数据信息获取技术,是一项技术含量较高的工作。我国目前技术储备仍然以生产技术为主,大数据信息获取技术等诸如此类的非生产性技术储备不多见。技术基础薄弱不仅会增加企业建设大数据的难度,也增加了成本,终于对大数据信息获取技术的发展产生了严重的阻滞影响。
  2.4 技术比较落后
  目前而言大数据信息获取技术还处在相对比较“传统”的手段,对新材料新技术的综合能力不强,技术相对保守落后,民用端技术发展的续航能力也相对较差。大数据的信息获取技术的革新将会成为大数据发展领域中的重要限制。
  3 大数据时代背景下信息获取技术应用现存问题的解决对策
  3.1 加大资金的投入
  对于国企和国内领头企业以及一些专业对口型企业来说,国家应该出台相应的政策来刺激这些企业对发展大数据时代下信息获取技术应用的支持和鼓励,作为大数据技术发展的先驱,带动大数据技术发展的有效手段则是大数据信息获取技术合理的、有效的发展。
  3.2 完善相应的管理体系
  发展资金不足的企业应该采取多级推进的办法,建设大数据信息获取技术应用的系统。必须制定完整可行的计划,并多时间点分阶段逐步推进,通过多阶段建设大数据,进而平摊建设成本、减轻企业的发展负担。
  3.3 加强技术的创新
  大数据信息获取技术应用的办法并不能局限在现有的技术中,更多应该在应用中寻找创新,通过技术的不断革新来推进创新型技术的诞生,从而完成大数据信息获取技术阶梯式地发展,为人类不断打开获取信息的源泉。
  3.4 制定合理的市场策略
  企业管理高层首先应该加强在大数据时代的背景下,自身对于企业发展与市场竞争的学习,并应客观从长远的角度审度大数据对于企业发展的重要影响,更要清晰地认识大数据时代背景下信息获取技术的应用功能。眼光应放得更加长远,而非盯在眼前收入上。
  4 结论
  4.1 大数据时代背景下发展信息获取技术时应预防的问题
  第一要合理布局,充分利用发展资源,合理分配发展步调;第二提高管理者对信息获取的认识,尤其是在大数据时代的背景下,不可忽略其重要性;第三不能脱离市场低头发展,大数据时代下信息获取技术发展离不开市场的调节与调控,遵循市场未来发展的规律才是唯一的出路。
  4.2 大数据时代背景下信息获取技术的发展远景
  企业发展大数据信息获取技术时会受制于企业自身的条件,依然存有相当程度的困难与不足,但随着建设成本加大投入、阶段性完成建设、完善计划,企业可以逐步推进大数据和大数据信息基础的建设,为其长远发展创造有利途径。
  大数据时代下信息获取技术的发展必将成为大数据时代乃至信息时代的重要排头兵,是信息时代不可或缺的技术。
  参考文献:
  [1] 编辑部. 如何获取大数据[J]. 檢察风云, 2013(15).
  [2] 卢佳, 高福安. 利用信息技术获取竞争优势[J]. 中国传媒大学学报:自然科学版, 2003(4).
  [3] 卢佳, 高福安. 利用信息技术获取竞争优势[J]. 北京广播学院学报:自然科学版, 2003(4).
  [4] 周涛. 网络大数据——复杂网络的新挑战: 如何从海量数据获取信息[J]. 电子科技大学学报, 2013(1).
  [5] 朱明月. 大数据时代电力信息技术思考与探索[J]. 信息与电脑:理论版, 2015(5).
  [6] 张占波. 浅谈大数据时代信息技术的机遇与挑战[J]. 电子世界, 2014(18).
  [7] 陈红姣. 大数据时代[J]. 赤子(上中旬), 2015(16).
  [8] 张启浩. 从信息技术发展和应用看大数据时代挑战[J]. 智能建筑, 2014(10).
  [9] 李瑞江. 大数据时代对信息技术的影响分析[J]. 网络安全技术与应用, 2014(4).
其他文献
摘要:本次研究的重点是对应届毕业生就业心理的调查,包括就业方向、愿景以及对学校教育教学的建议和意见等。通过对毕业生就业心理的了解,能使得各高校各级就业指导部门可以为毕业生提供更好的就业指导,进一步改革现有的教学方案,提高学生就业竞争力。一方面解决应届毕业生“难”就业的问题,另一方面帮助企业解决找“不”到人的尬境,使得学校与企业进行良好衔接。  关键词:计算机专业;应用型本科;应届毕业生;就业心理 
摘要:民宿作为旅游业中的一部分在当今互联网时代快速发展,为了更好适应新时代发展,民宿行业有必要利用大数据分析实现精准策略营销以提高营销能力与业绩。本文以阳朔县民宿行业为例,通过分析大数据精准营销的特点和阳朔民宿行业营销存在的问题,提出了精准营销的建议与策略,以促进阳朔民宿业快速发展。  关键词:大数据;民宿;精准营销;问题;策略  中图分类号:TP311 文献标识码:A  文章编号:1009-3
摘要:教育信息化2.0是缩小教育差距、促进教育公平发展的又一个机遇期。本文在教育信息化2.0的时代背景下,结合怒江州的基本情况尝试分析信息化教学四种课堂类型的主要特点,正视实施过程中面临的诸多障碍,并尝试阐明教育信息化对义务教育均衡发展的重要意义。教育相对落后地区的要立足自身、跟进政策、抓住机会,才能借互联网 教育的大潮实现本地区教育的跨越式发展。  关键词:教育信息化;云课堂;双师课堂;智师课堂
摘要:城市公园作为本地居民休闲、游览的重要游憩空间在改革开放后得到了迅速的发展。该文以上海市151个星级公园为研究对象,来对上海市星级公园发展变迁进行深入的探讨。研究发现:从时间上看,上海市星级公园的演化大致可以分为1949年以前、1949—1982年、1983年—1999年、2000年后四个阶段;空间变迁上呈现出由点到面,由市中心向浦东再到全域发展的特点。而以市民为代表的相关利益相关者阶层的壮大
摘要:在数字媒体快速发展的时代,Flash多媒体技术以独特优势运用到计算机学科的教学中,它具有制作简单、描述形象、交互性强、能测试巩固知识点,并且文件小、演示方便等优势。该文以《汽车空调》Flash多媒体交互课件为例,展示了计算机学科多媒体课件的设计步骤与思路,并讲述了将多媒体交互技术与计算机学科融合的体会。  关键词: 计算机;多媒体;交互;课件  中图分类号:TP3 文献标识码:A  文
摘要:本文针对电子商务平台容易受到各类攻击进行,给出具体应用策略。首先对电子商务平台存在的漏洞进行研究分析,根据企业实际环境搭建虚拟仿真渗透测试环境,对电子商务平台和服务器进行渗透测试,找到已知或未知漏洞,并给出漏洞解决方案和应对策略。  关键词:电子商务平台;渗透测试;安全策略  中图分类号:TP319 文献标识码:A  文章编号:1009-3044(2019)30-0281-03  随着5G时
摘要:基本的JavaWeb开发分成Modell和Model2两种模式。本文分析了基于Moddl模式的Javaweb项目驱动教学的优点,以及这种模式对于后续框架课程支撑的不足。详细介绍了基于Mode12模式的教学设计以及实施时面临的问题。关键词:Javaweb;项目驱动式教学;M0dell模式;M0del2模式  中图分类号:G642 文献标识码:A  文章编号:1009-3044(2019)28-
摘要:在大数据时代,数据挖掘技术和工具已取得瞩目的成就。该文基于八爪鱼采集器在“肥仔水”项目中的具体应用,介绍了八爪鱼的原理、特点以及使用方法,以及它在提升企业信息数据挖掘方面的优势。  关键词:数据挖掘;八爪鱼;肥仔水;市场潜力  中图分类号:TP391 文献标识码:A  文章编号:1009-3044(2019)34-0017-03  1 概述  大数据和云计算的诞生改变了人类信息技术的面貌[1
摘要: Java语言是目前最流行的面向对象的编程语言之一,其应用越来越广泛,整个社会对Java人才的需求量也越来越大。但是从教学实际出发,Java教学与社会严重脱节,学生掌握的Java知识是零散的,不能很好地整合到一起。一旦就业看到一个项目不知从何下手,针对此问题,该文提出的基于翻转课堂的项目化教学改革在《Java程序设计》中的应用势在必行。  关键词:项目化;翻转课堂;教学改革;Java知识  
摘要:针对传统模式下《软件工程》课程教学中遇到的问题,文章结合了工作过程系统化的思路,阐述了课程开发的思路,通过企业调研确定行动领域,并由教育专家确定学习领域,并对本课程的学习领域进行课程重构,形成以项目驱动为载体的应用型课程教学模型,并对教学方法、考核模式进行了调整。  关键词:软件工程;工作过程;课程改革  中图分类号:G642 文献标识码:A  文章编号:1009-3044(2019)11-