缺失数据查询处理技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:alexander_guwen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机、互联网、通信以及定位技术的快速发展,数据呈爆炸式增长。这些数据在形态上具有海量、高维、多源、异构、不确定/不完整等特征,使得当前相关技术很难支撑人们进行复杂而多样的智能处理需求。缺失数据具有不确定/不完整特征,并广泛存在于科学研究和社会生活的各个领域,如通信、交通和经济等领域。查询是计算机科学的基本问题,存在于目前几乎所有的计算机应用领域。如何高效、智能地查询数据,挖掘有价值的信息,服务于社会,已成为当今信息技术的重大挑战。然而,现有的查询处理技术大多只关注完整数据。由于缺失数据的性质与完整数据的性质存在很大差异,因而缺失数据查询不能(直接)有效地采用传统的完整数据查询处理方法。为此,本文对缺失数据查询处理技术进行了深入研究,主要包括:1)不完整数据查询:相似查询在地理信息系统和多媒体检索等方面有着广阔的应用前景。现有大多的相似查询处理方法只针对完整数据,但在许多的实际应用中,数据集中的对象可能存在缺失信息(如数据对象的某些属性值缺失等);这些对象之间的邻近关系就不能用传统的相似度计算方式衡量,而需要寻找适用于缺失数据对象的新颖的邻近关系度量方式。本文开发了两种有效的不完整数据索引方法,并提出了精确和近似的查询算法,以支持不完整数据k最近邻查询问题。此外,偏好查询在决策支持、个性化服务、以及推荐系统等方面具有重要的应用价值。例如,在电影推荐系统中,针对含有缺失信息的电影评分数据集,系统可以利用Top-k支配查询选出前k个观众评分最好的电影以推荐给电影爱好者。本文提出了面向不完整数据Top-kk支配查询的skyband剪枝、上界值剪枝、位图索引技术以及压缩技术,并设计了多种有效的查询算法,以支持不完整数据Top-k支配查询问题。同时,本文分析了位图索引压缩技术对查询效率和索引空间成本的影响,并进一步探讨了查询效率和索引空间成本的权衡问题。2)不确定图查询:尽管已有许多专家学者致力于不确定图查询处理技术研究,并取得了大量可喜的研究成果,但距离满足不断出现的、复杂而多样的查询需求还有一定的差距,仍待进一步深入研究。例如,不确定图反k最近邻查询在资源优化配置、本质蛋白质识别等场景具有重大的应用前景。然而,尚未有学者对不确定图反k最近邻查询进行研究。所以,本文探讨了不确定图反k最近邻查询问题。本文引入了图规模剪枝、等价图剪枝和概率界剪枝以缩小图规模、减少可能图数量和缩小候选数据节点数量。本文除了提出精确算法来处理不确定图反k最近邻查询,还给出了一种新颖的抽样算法。该算法使用了图规模剪枝和自适应分层抽样方法。该抽样方法被证明是无偏的且其方差不比随机抽样方法差。与已有算法相比,本文所提出的精确算法效率平均提高了五个数量级;而且,抽样算法比精确算法效率至少提高了三个数量级。3)概率查询质量优化:在许多的实际应用中,数据带有不确定性,使得基于这些不确定数据的查询(即概率查询)往往返回一组不确定的查询结果。换句话说,概率查询返回的结果包含大量噪声,这使得查询质量下降。为此,本文提出一种新颖的概率查询质量优化框架,旨在给定的预算内选择出一组最影响查询质量的不确定数据对象去清洗,以最大化查询质量。本文结合一个新开发的ASI结构加速查询质量计算,并利用两个有效的剪枝策略提出分支界限法、贪心算法和抽样算法以支持数据对象选择问题。ASI结构被证实比未使用该结构的质量计算算法性能提升了两到三个数量级。4)缺失数据查询处理系统:基于上述的研究成果,本文开发了一个基于不完整数据偏好查询的餐馆推荐系统。该系统考虑了餐厅的不完整评级信息,并在PostgreSQL数据库中集成了不完整数据skyline查询和Top-k支配查询,主要支持三个功能模块:友好便捷的查询提交模块、灵活实用的结果解释模块、以及增量式的数据集即时交互模块。
其他文献
采用大掺量矿物掺合料配制C30自密实混凝土,并研究石灰石粉对自密实混凝土工作性能、强度及耐久性能的影响。结果表明:掺入适量的石灰石粉可以优化混凝土中粉体材料的颗粒级
英语课程承担着培养学生基本英语素养和发展学生思维能力的任务,即学生通过英语课程掌握基本的英语语言知识,发展基本的英语听、说、读、写技能,初步形成用英语与他人交流的
在上海,如果有一个地方,推开窗户就能感受到双创的温度,走在街上就能闻到空气中充满双创气息,那就是杨浦区。近日,主题为“双创促升级,壮大新动能”的2017年全国双创活动周启动仪式
报纸
随着我国国有企业股份制改造的基本完成,国家对经营性国有财产的财产权已经转换为国有股权,其具体又可分为国家股和国有法人股。按照现行法律规定,国家股的股东是国资委,而国
工学结合、理实一体化教学模式是新形势下国家对职业教育的要求,也是社会对人才需求方向所决定的。工业化进程中的当代中国,须高度注重发展高等职业教育,以培养更加符合现代
技术创新是一个国家经济长期繁荣增长的决定性因素。公司创新作为企业对长期无形资产的投资,对于它的研究是近年来金融学领域的热点课题。可以说,对于国家经济的繁荣以及企业的长期发展,创新都至关重要。但对于大多数公司来说,激励创新都是一项不小的挑战。因为创新具有高度不确定性,并且失败概率也较高。在现阶段,我国企业的创新积极性以及成果质量依然不尽如人意。因此,探究什么因素会影响公司创新将变得十分重要。与此同时
为了了解乡镇铸造行业职业卫生现状,为企业整改及政府监管提供科学依据,采用现场职业卫生学调查、职业卫生检测和职业健康检查法,对乡镇铸造企业生产过程中主要的职业病危害
俗话说:'要致富,先修路',公路建设在经济发展中的作用由此可见一斑。随着经济的不断发展,公路建设的衡量标准不再局限于量的多少,更在于提高公路工程的质量,即着重补
在县域推进义务教育均衡发展,是在全国范围内实现义务教育发展的重点。本文在研究分析国内外义务教育均衡发展现状研究的基础上,以公平理论、公共产品理论和财政分权理论为理论基础,从温州市苍南县义务教育均衡发展现状入手,分析了温州市在师资力量、基础设施投资和音体美课程开设情况三方面的现状。同时以苍南县为具体分析点,分析归纳了该县义务教育均衡发展存在的问题,即师资力量配置结构失衡、教师培训和再教育的效果欠佳、
简述了大型飞机及其结构特点,通过比较人与机器两种装配系统的特性,及分析装配自动化水平与装配成本等诸因素的关系曲线,指出了自动化装配技术在保证大型飞机结构长寿命、高