现如今,随着移动产品的发展与普及,人们对内容资讯类产品的需求迫切度与日俱增,与之相对的便是内容量的巨大提升,给编辑以及审核人员带来了前所未有的压力。为了适应大数据时代的需求,项目组决定研发一套基于机器学习的内容处理与监控系统,以此来完成内容的自动化过滤与分发,从而为公司的多种内容形态提供高效化、智能化的数据处理流程。论文讲述的是项目组针对当前信息化时代背景,结合当前具有实际应用潜力的机器学习理论设计而成的内容处理与监控系统。文中首先介绍了项目的背景及国内外发展现状,并对整个系统进行功能性需求和非功能性需求的需求分析。之后根据需求分析设计系统架构、划分功能模块、设计系统数据库。接着对具体模块进行详细设计与实现。最后对系统进行测试与验证以确保达到上线要求。笔者独立建立了模块中用到的机器模型,并通过优化算法及损失函数等对模型进行了调整优化。之后测试并验证了机器模型以及核心功能模块,以确保系统达到上线标准。除此以外,笔者参与了系统核心的三大模块的开发,分别为:内容处理(内容过滤与建模)、内容审核、内容监控。在内容过滤中,主要通过N-Gram语言模型对字符进行匹配,利用决策树及Center-Loss函数对模型进行参数的调优;在内容建模中,利用SVM(Support Vector Machine,支持向量机)算法与GRU(Gated Recurrent Unit,门循环单元)模型对数据进行初步的分类与监督,根据不同的内容类型分别采用了 TEXT-CNN以及FAST-RCNN模型进行划分;在内容监控中,为了得到实时数据结果,采用Spark实时框架及MemCache缓存等技术,以此达到监控的性能要求。目前该系统已上线,对于图文的平均判定精确率达到了 95%以上,对于视频的平均判定精确率达到了 80%以上。内容处理速度控制在单篇平均耗时在120s内,实时监控查询速度控制在2s内。