面向国内直播行业的分布式弹幕爬虫研究

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:maxyz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,依托视频行业与直播行业的兴盛,弹幕服务迅速发展。然而主流弹幕服务的弹幕环境一直以来缺乏监管,主播与用户违规行为屡禁不止,对直播弹幕的学术研究稀少,亟需开发针对弹幕的采集处理方案。针对国内知名弹幕服务的技术特征,设计一种分布式直播弹幕爬虫系统方案。分析并提出相应房间连接的建立机制与弹幕采集机制:对开放API的服务直接采用轻量级客户端实现;对基于Adobe Flash且不开放API的服务,用基于Chromium浏览器的Electron模拟浏览直播间网页,并改写其PPAPI插件界面实现,旁路Flash网络流量从而实现抓取。在某知名弹幕平台上进行了验证性实验,表明该系统能够调度IP地址资源进行较大规模抓取,且性能较好,能够处理平均134条每秒、峰值超过1 000条每秒的弹幕流量。
其他文献
利用动物粪便生产微生物和昆虫蛋白质产品(一)韦平广西农业大学530005每天收集处理的动物粪便中,有好几百万公斤的氮,它们有希望转化为家畜和家禽的蛋白质饲料。本文将综述利用动物粪便
在国家现代化建设和发展的过程中,园林绿化工程施工质量的管理和控制,对于推动城市化进程等方面,都具有十分重要的意义。本文首先对园林绿化工程施工质量的控制现状进行简单
晶体硅太阳电池现行生产技术中普遍采用气相源扩散掺杂制备发射极,该法均匀性较差,且在现有基础上进一步提高发射极的方块电阻较为困难,限制了晶体硅太阳电池性能的提升。我
作者在本文中阐述了舰载C~3I系统及电子设备在现代高技术战争中的地位和作用,发展现状和趋势,据此提出了发展我国舰载C~3I系统的对策建议
目的建立紫地榆Geranium strictipes R.Kunth HPLC指纹图谱,并进行模式识别。方法紫地榆70%甲醇提取液的分析采用Aglient ZORBAX SB-C18色谱柱(250 mm×4.6 mm,5μm);乙腈-水
分析当前试题表述形式不足,提出新的试题表述形式,实现所有试题及试卷的结构化,在网络测试系统中为考生提供丰富多样的试题表现形式,方便试题的传输和重用。
随着高新技术的快速发展、互联网的日益普及以及信息技术的广泛应用,全球经济一体化进程越来越快,人类社会已经迈进了一个崭新发展阶段——信息时代。人类智能化的程度获得空
朗读是小学生完成阅读教育任务的一项基本功,也是贯穿于整个义务教育阶段最重要、最基本的语文教学方法。本文将从激发学生的朗读兴趣、提出合理的朗读要求、利用教师的范读
本文用薄层层析替代传统的纸层析法分离绿叶中的色素,取得了较好效果。同时优化实验方案,增加绿茎作为研究对象,并利用多余的色素探究了色素对光的吸收情况。
为探究木姜子油对鸭疫里默氏杆菌和黄曲霉菌的抑菌效果,本试验以木姜子油为试验材料,采用平皿打孔法测定不同浓度的木姜子油对鸭疫里默氏杆菌和黄曲霉菌的抑菌效果。结果显示