学习型大数据可视化沿袭方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:NewMagic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从可视化出发反向探索原始数据的过程称为可视化沿袭。在大规模数据集上实现数据索引结构是目前实现实时交互探索的主要方式,主要存在查询时间和存储空间两个问题。现有的技术往往通过对原始数据的简化处理以实现低存储开销,这种方式导致了真实数据的丢失。可视化沿袭可解决这一问题。可视化沿袭对数据的精度要求更高,因此会约束原始数据的简化,进而增加存储成本。实现大规模数据集上的的可视化沿袭与交互探索是一项挑战,主要体现在以下方面:1大规模数据集包含至少数百万至数千万条数据,难以实现实时交互。2.数据中往往包含多个维度,在这样的数据上建立索引结构会带来较高的存储成本。3.可视化沿袭对数据精度要求较高,难以实现低存储开销。针对上述问题和挑战,本文提出了一个基于学习的数据结构以支持大规模数据集上的可视化沿袭探索。首先,本文提出对数据分别按照不同的维度进行排序,并以数组的方式进行存储,使查询与输出之间存在线性的函数关系,同时保留了原始的真实数据。其次,本文提出了分层神经网络模型结构,第一层为网络选择器,其作用是找到查询对应的子网络;第二层为子网络,其作用是计算查询对应的输出。分层网络模型解决了样本数据差别较大导致神经网络无法较好拟合,从而造成的误差问题。第三,本文提出使用哈希表存储极少数神经网络无法拟合的误差数据,从而保证了索引结构的准确性。第四,基于这一数据结构,本文设计并实现了一个可视化交互系统,以支持大规模数据集上的可视化沿袭和交互探索。在本文的最后,我们使用数据量在百万到千万级的三个公开数据集分别进行了实验,实验结果表明本文的方法可以有效地对大规模数据集实现实时细粒度可视化沿袭查询与交互探索。
其他文献
语音转换最典型的任务是在不改变一段语音的语言信息的前提下改变说话人的音色,使其听起来像是目标人物说的。近些年来,语音转换的主流研究方向逐渐从平行系统转变到非平行系统,再转变到零样本系统。零样本系统是指语音转换模型可以将不在训练集中的说话人作为转换的源和目标说话人。相比传统方法,零样本语音转换的核心思路在于使用说话人身份编码作为说话人的身份标签,这使得模型具有实现零样本语音转换的能力。本文提出了一种
学位
随着互联网的快速发展,信息量与日俱增,推荐系统在缓解用户信息过载,提升用户体验方面发挥着重要作用,目前被广泛应用于电商平台,新闻网站等工业场景。会话推荐系统作为推荐系统下的一个子领域,主要针对用户匿名登录的情况,为用户进行个性化推荐。会话是指用户和系统的一次交互过程,例如从用户打开网站到退出的这段时间称为一次会话。在会话推荐系统中,由于用户匿名登录,系统无法获取用户的个人信息和历史浏览记录,仅能根
学位
卷积神经网络对图片各种形变所具有的适应性展现了该网络在图像处理方面的较大优势,因此在近几年人工智能的应用中颇受青睐。由于网络本身具有较大的计算量,因此在嵌入式端的应用被能耗及算力所限制。FPGA具有丰富的计算资源可以灵活调配的同时还具有功耗低的特点,适合做卷积神经网络的移植应用,但开发过程没有组件可以调用,使得开发需要从头开始,难度较大,因此解决这个问题变得极具价值。本文从卷积神经网络的基本结构入
学位
随着定位技术的不断发展,人们日常生活的方方面面都得到了极大的便利性的提升。全球定位系统(GPS)以及我国的北斗卫星导航系统都可以提供较高精度的定位位置,因此人们日常生活对定位信息的依赖性越来越强。现实生活的场景诉求使得室内定位技术研究依然重要,与此同时对室内定位技术提出了高精度要求。在众多的室内定位技术中,Wi Fi定位技术由于设备易搭建、成本低,使得其获得更多的关注。在通过基于接收信号强度的方法
学位
情感识别最终目的是让计算机能够识别人类的情感,从而使得计算机更具人性化。基于生理信号的情感识别,主要的研究对象是人体的生物电反应。传统的情感识别大多是从表情中得出结论,但非接触数据的可靠性和客观性较低。生理信号的变化状况是人类情感最重要且最真实的表现之一,受人类意识的影响较小,可信度有所保障。在以生理信号为对象的情感识别中,研究的关键是怎样有效提取不同情感状态的特征。本文使用的生理信号数据来自于实
学位
报纸
网络担保贷款是亚洲国家独有的一种经济现象,所谓的网络担保贷款就是当企业集团从商业银行获得贷款时可以相互担保,从而形成复杂的担保网络。在经济放缓期间,企业违约可能像病毒一样传播,并导致大规模违约甚至系统性金融危机。近年来在国内,对于担保网络中的违约传播所造成的影响时有发生,民企的“抱团取暖”瞬间变为“火烧连营”,这些金融现象的产生引起了金融监管机构和政府的关注。监管和分析担保网络中违约风险的传播路径
学位
文本可视化是数据可视化的一个重要领域。可视化方案通常有两种形式。一种是复杂视图,供专业人士使用,以显示文本信息的全部细节;另一种是讲故事视图,供非专业人士使用,只显示事件的重要信息。其中,讲故事视图因其通俗易懂、受众广泛等特点一直是学者研究的热点。如何在短时间内讲好一个故事是当前研究的热点之一。我们设计了一个交互式讲故事的可视化系统,分析社会化短文本,比如twitter数据,使用动态主题模型(DT
学位
<正>路遥的《平凡的世界》和《人生》都以温情的笔调和动人心弦的“心里话”描写了一代人的生活中的酸甜苦辣。作者以娓娓道来的笔调,用带有黄土般醇厚的语言,刻画了一群在广袤无垠的黄土地上扎根农村,一心过好家中光景的形形色色的“后生女子”。不管是《平凡的世界》还是《人生》,小说中的主人公都带有作者对于这个时代特定人物的观察,并以自己的方式给予了他们殷切的希望。本文主要通过两部小说的性格、思想相似的主要人物
期刊
点云是一类由深度相机、三维激光扫描仪等设备获取的海量点的数据集合,它可以完整地保存模型的几何信息,不需要任何离散化处理,而且表示也十分简单。由于使用方便,它被越来越多地应用到了三维重建、逆向工程、无人驾驶等领域。但是在数据采集过程中,常常会因为物体的遮挡、设备的噪音等因素影响,导致生成的点云稀疏且不均匀,使用这样的点云来进行三维重建、逆向工程等任务是困难的,因为缺少点,无法捕捉到局部的空间几何信息
学位