并行SVM算法在Flink平台的应用研究

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:jianxieshui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代背景下,数据规模成指数级增长,传统支持向量机(SVM)已无法适应大数据环境,所以需要将传统支持向量机算法改进使其可以应用于大数据计算框架.针对计算过程中存在占用内存大、寻优速度慢等问题,提出一种基于Flink平台的并行支持向量机算法.该方法首先基于层叠支持向量机(Cascade SVM)的合并策略以及训练结构,通过Flink分布式计算框架实现;其次,通过优化并行操作算子的性能引入分布式广播变量,优化算法,有效解决单机SVM算法训练效率低的问题.实验结果表明,结合Flink框架实现SVM算法并行化,能有效的减少了训练时间,提高模型的训练效率.
其他文献
现有的知识图推荐模型通过聚合相邻实体节点的特征和结构信息来更新当前位置实体节点的嵌入表示,为了控制计算成本和维护模型的稳定性,通常使用随机的固定大小的采样邻域来替
如今,基于云计算的软件服务对自适应资源分配提出要求,这种分配可以根据需要动态调整资源,以保证良好的服务质量(QoS,Quality of Service)和低成本资源.然而,在复杂波动的负
针对同时存在全局与局部环境的移动机器人路径规划问题,提出了一种分层路径规划方法.采用改进势场-蚁群融合算法进行规划.首先,在全局环境下采用改进蚁群算法进行路径规划,为
针对考虑运输时间的柔性作业车间调度问题,构建了以最大完工时间最小化、最大机器负载最小化和总机器负载最小化为目标的多目标优化模型,并提出一种小生境粒子群优化算法求解
针对现有室内场景识别方法仅通过关注视觉信息本身,而缺乏考虑图像中所含语义内容,提出一种基于长短期记忆神经网络和卷积神经网络的融合深度神经网络室内场景识别方法.首先使用labelImg工具为Visual Genome数据集图像生成位置描述符,经数据预处理算法处理后通过GloVe模型得到词向量.然后引入带有L2正则化的小批量梯度下降算法训练模型,将注意力机制与融合深度神经网络模型结合实现对位置描述符进
邻居选择和邻居数量对于推荐系统评分预测具有关键作用.本文采用复杂网络模型中多种聚类方法,针对现有方法通常基于单一相似性选择邻居的问题,建立用户为节点,相似性与置信系
面对网络学习资源的信息过载问题,如何根据用户的偏好推荐其感兴趣的学习资源是网络教育智能化的关键应用.协同过滤推荐算法无需构建资源的特征描述,经常应用于形式多样的网
基于卷积神经网络的目标检测在智能机器人、无人机等领域有着重要的应用,但其模型普遍结构复杂、参数量大、占用资源多,难以满足嵌入式目标检测任务中的实时性需求.针对此问题,本文提出一种多尺度特征融合注意力网络(MSFAN:Multi-Scale Feature-fusion Attention Network)模型,该模型基于MobileNet_YOLOv3网络模型,并结合多尺度特征融合等改进措施,在高
深度学习在控制图模式识别的运用上,易受控制图样本量和控制图质量特征数据点数的影响,针对这个问题,本文提出基于感知器-卷积神经网络的孪生神经网络(Perceptron-Convolutio
计算机棋类游戏的研究目标是人工智能选手的智力提高,而学习样例对棋局局面的代表性,在很大程度上决定了选手的智力水平,但学习样例的产生方式和优劣判定一直未能引起足够重