基于Hadoop架构的数据驱动的SVM并行增量学习算法

来源 :计算机应用 | 被引量 : 0次 | 上传用户:smaboat
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统支持向量机(SVM)算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法(PIASVM)。利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力。多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力。
其他文献
税收政策是政府指导和诱导资源配置的一项重要经济政策 ,它在促进经济结构调整过程中发挥着重要的作用。我国目前的税收政策在许多方面还不能完全适应经济结构调整的要求 ,因
目的 对照研究硒茶及非硒茶对D -半乳糖致衰老小鼠总抗氧化能力的影响。方法  4 0只小鼠分为 4组(正常对照组、衰老模型组、非硒茶组、硒茶组 ) ,除正常对照组腹腔注射生理
文章采用析因设计的方法,研究沉积物水浸提液掺杂的多种重金属Cu、Cd、Zn、Pb和Ni对发光菌的联合毒性。通过对试验结果进行方差分析和多元线性回归,建立了重金属浓度和发光菌
<正>乙醛能使澳水褪色,乙醇能使溴水褪色吗?这是高中阶段师生们必须面对的问题。我们和其他老师一样,给予学生的回答是:乙醇不能使溴水褪色。为了证明所下结论的正确性,我们
期刊
HBr
选择天津医科大学2014级125名本科护生作为研究对象,应用Kahoot网络游戏教学模式进行教学。采用问卷调查及质性访谈进行效果评价。78.4%的护生未接触过网络游戏教学,应用网络
随着全球老年化的趋势逐渐发展,中国与很多国家一样,面临着它所带来的机遇与挑战。满足老年人的需求,保障和提高老年人的生活质量,对个人、家庭、社会等各个不同层面都具有重
最低工资制度在国外实施已逾一个世纪,而在我国却只有短短的十几年。虽然该制度在一定程度上维护了劳动者的权益,但现实中对最低工资制度和其执行状况却不尽人意,存在现有的
城市住宅小区的业主自治,是近年来我国住房制度改革的重要成果。作为消费者群体自己管理好家园的一种民主管理模式,业主自治在实践中显示出强大的生命力。扶持和完善它,事关亿万
心血管疾病(CVD)由多因素引起,如遗传、不健康生活习惯、心理因素等,其发病率逐年升高。高同型半胱氨酸(HHcy)在急性冠脉综合征、先心病、高脂血症及妊娠高血压等疾病起到一
利用2008~2015年西藏自治区所设4个酸雨自动站(拉萨、日喀则、林芝和那曲站)的观测资料,统计分析了8年来酸雨变化特征,探讨了酸雨的变化规律,并对酸雨与气象要素的分析进行了