数据驱动的智能交互式服务组合方法研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:siaonn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,许多领域需要利用机器学习技术进行数据分析。但是机器学习模型构建过程复杂且耗时,如果不具备专业机器学习知识的领域专家可以根据业务需求自行构建模型,可以降低机器学习的使用门槛,提高工作效率。目前,已有很多研究提供可视化流程建模工具,建模人员可通过组合数据分析相关服务构造数据分析流程。进而,AutoML(Automated Machine Learning)工具还可根据数据及任务,自动化组合服务生成数据分析流程。但是这种以流程为中心的建模方式还存在以下问题:首先,流程视图可以清晰表达服务组合逻辑,但是领域专家关心的数据中蕴含了大量的信息,在流程视图中并不能直观表现;其次,自动生成的数据分析流程往往并不能完全符合领域专家的需求,领域专家需要根据数据特性和业务需求进行灵活的流程探索,从而结合人的动态决策和系统的智能辅助,提高数据分析效率和机器学习模型性能。针对上述问题,本文提出了一种数据驱动的智能交互式服务组合方法,在系统智能辅助下,支持领域专家基于数据视图和流程视图,交互式地构建数据分析流程。主要的工作和贡献如下:1.提出了一种结合数据视图与流程视图的编程模型。流程视图用于构建服务组合的逻辑信息。数据视图包括五种视图:数据探索视图、任务配置视图、流程性能视图、特征关联视图、超参数配置视图,用于查看和操作数据,获取数据的蕴含信息。上述信息将用于任务配置、服务选择、超参数配置等过程,从而达到评估、验证和改进流程的效果。2.提出了一种交互式的服务推荐算法。基于数据集相似性和强化学习原理,将神经网络与MCTS(Monte Carlo Tree Search)相结合,指导数据分析流程的生成,根据流程性能进行服务推荐,从而辅助构造数据分析流程,提高数据分析效率和数据分析流程性能。3.设计和实现了数据驱动的交互式服务组合系统,具体包括服务管理工具和交互式服务组合工具两部分。服务管理工具使用人员为管理人员,包括算法服务化、服务注册模块和服务展示模块;交互式服务组合工具使用人员为领域专家,包括服务目录模块、数据视图模块、流程视图模块及流程推荐模块。最后进行了实验验证,对于相同数据集,通过交互式服务推荐算法生成数据分析流程,与目前主流AutoML工具生成的流程的性能和总耗时做比较,实验证明:该方法在耗时方面缩短至分钟级别,流程性能也得到了提升。
其他文献
报纸
近年来,车联网传感数据共享因其可观的经济和安全等方面的收益引起了广泛关注。其中,轨迹数据作为主要的共享内容之一,为智慧城市优化布局、智能化路线推荐、流量分析预测、用户行为模式挖掘等提供了有力支撑,同时也推动了车辆交通安全,辅助服务商更好地提供服务。由于车辆身份隐私与传感数据之间具有一定的关联性,轨迹数据的可预测性使二者之间的关联程度加强。因此,轨迹数据的共享有着更高的隐私保护要求。此外,数据感知过
学位
<正>(2021年8月26日青岛市第十六届人民代表大会常务委员会第三十五次会议通过)城市山体绿地是青岛山海城特色风貌的重要组成部分,是非常宝贵的生态环境资源。保护好、利用好山体绿地是践行习近平生态文明思想的重要举措,是一项重大民生工程,是全市人民的共同愿望,意义重大。青岛市第十六届人民代表大会常务委员会第三十五次会议听取和审议了市政府《关于我市山头公园整治工作实施情况的报告》。
期刊
随着数字信息技术的高速发展,数字图像的数量和类别呈现爆炸性增长的态势。如何对这些图像进行有效的组织和管理是一项具有挑战性的课题,图像分类是解决该问题的有效方法。近年来,基于概率混合模型的图像分类方法受到了国内外学者的广泛关注。传统的混合模型聚类法一般采用高斯分布假设来构建图像分类模型,这主要是由于其参数估计易于实现。然而,图像数据有着与高斯分布截然不同的特性,例如非对称性,有界性等,这些图像数据的
学位
卫星图像中城市高层建筑街区形态的自动分析对城市规划和研究的自动化起着重要作用。高层建筑街区形态一般包括居民区建筑群落和商业区建筑群落。本课题的主要研究包括两个方面,一是高层建筑街区,即高层建筑群落的自动检测与分类,二是高层建筑高度参数的预测。由于目前做该研究的较少,因此,本课题的所有数据均由本人标注,并通过专家审核。之前对光学卫星图像中高层建筑的检测还依赖于人工。本课题假设高层建筑群落可以作为一个
学位
预焙阳极的质量对铝电解有重要意义,而阳极生产是个十分复杂的工业过程,其中会有大量数据伴随产生,通过研究和分析这些数据可以深入挖掘潜在价值。在铝电解预焙阳极生产过程中,生阳极体积密度是反映预焙阳极质量的重要指标,通过生阳极生产的工艺控制参数预测生阳极体积密度,对保证阳极的质量具有重要意义,预测的结果也能为相关人员调整工艺参数提供参考依据。本文主要完成了以下工作:1.本文针对生阳极生产过程的非线性特点
学位
作为解决现代互联网信息过载的有效工具,推荐系统能为广大用户提供个性精准的信息来源和决策依据,正在融入越来越多人的日常生活。数据稀疏是目前推荐系统面临的主要问题之一。在深度学习得到飞速发展的今天,对特征的高效提取和有效融合是一个值得深入的研究方向,这为缓解数据稀疏问题提供了有力支持。本文旨在研究如何将深度学习的非线性建模能力与传统推荐算法的线性建模能力相融合,由此使得算法兼备线性模型的快速搜索能力和
学位
本文基于“教—学—评”一体化的教育理念,全面解析义务教育语文课程“语言运用”核心素养的学习目标、测评趋势以及教学方向。首先,通过梳理义务教育语文课程标准与统编初中语文教材中“语言运用”核心素养的课程目标与内容要求,明确该素养的学习目标是理解语言文字,发展语用能力。其次,通过分析近五年来语言积累与运用评价的中考测试,总结出“语言运用”核心素养测评“设置语言实践活动,考查学生语言积累与运用真实过程”的
期刊
会话问答即多轮问答任务,是对话式人工智能的重要组成部分。给定一篇文章和相应的一段对话,会话问答任务需要回答对话中的下一个问题。使整个对话更加流畅连贯。会话问答任务的机器学习模型不仅需要考虑当前的问题,而且还需要结合上下文对话历史信息。但是由于上下文篇幅较长,如何对复杂的信息进行高效特征提取,一直是会话问答任务的重大难题。现有的方法通常会对其经过多层LSTM处理,将特征向量进行拼接,很容易产生冗余信
学位
光谱响应函数作为卫星传感器里一个重要的参数,体现了各个光学元件的反射和透射特性,还包含了传感器的光谱响应特性的综合性能,更是决定了传感器对辐射的光谱响应特性,直接影响着传感器的定标精度和定量应用能力。气象卫星传感器发射前在地面实验室通过光谱校准获得的光谱响应函数是不准确的,而且在太空中运行的过程中光谱响应函数会以未知的方式发生退化,这两种现象都会严重影响卫星辐射定标工作的精准完成。这就需要提出一种
学位