基于Hadoop的技术文档细粒度行为分析系统的设计与实现

来源 :西南大学 | 被引量 : 0次 | 上传用户:zwj_10061
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为推广自主研发技术框架,互联网企业提供技术文档平台,向大众详尽地展示技术框架。作为门户,技术文档在整个技术生态中具有举足轻重的作用。目前,通过对技术文档已有开发者的反馈问题与建议进行统计,发现技术文档平台文本质量不理想,进而引发开发者访问体验差、平台管理员针对性优化难度大的问题。开发者作为技术文档平台的用户,其建议对于技术文档平台提升文本质量至关重要。目前,技术文档平台现有的提高文本质量的四种方案,存在着参与成本高、获取到数据量级少等问题,导致提升文本质量的效果不佳。因此,为解决技术文档平台现存的问题与弥补现有方案效果的不足,本文提出基于技术文档的细粒度行为分析的方法:通过对开发者在文本上的行为进行捕获与分析,提供给平台管理员文本优化建议,实现文本质量的提升。此外,结合目前主流的大数据技术,设计并实现了一套涵盖数据采集、日志获取、日志处理、结果可视化呈现的面向技术文档的细粒度行为分析系统。本文主要工作内容如下:(1)对众多开发者的建议进行统计,分析得出技术文档平台存在几点问题,即文本质量不佳,开发者访问体验差,平台管理员针对性优化难度大。然而,这些问题难以被现有方案妥善解决。(2)提出了细粒度行为指标,以期提升技术文档平台的文本质量。文中分别通过理论研究、后台统计以及功能对比等形式,分别对高亮文本行为、复制文本行为、点击“问题反馈”行为、模块停留时长以及当前页面发起搜索行为进行调研,形成了一套具有理论依据、可行且数据量大的细粒度行为指标。(3)根据确立的指标,本文搭建了一个基于Hadoop平台的细粒度行为分析系统,实现对符合指标行为的采集、获取、处理以及可视化,为平台管理员定位文本、修改文本提供直观的参考建议。(4)通过实验研究法,实现细粒度行为指标及其系统对于开发者访问体验与平台管理员针对性优化效率影响的测试。经随机被试、控制自变量以及干扰变量处置,本文得出细粒度行为指标及其系统能提升技术文档平台文本质量,对开发者访问体验与平台管理员针对性优化效率都具有积极意义。
其他文献
课堂注意力揭示了学生在课堂上一定时间内专注于某事的能力,也是学生在课堂上自发地、积极地获取信息、提高学识和掌握技能的基本品质。课堂注意力的质量对听课效果、学习成效和其他评价手段的有效性有非常重要的影响。但传统教学场景中,义务教育的普及使学生的数量增多,如果没有科学的量化标准和技术支持,教师需要很长的时间跨度来观察和评价所有学生的注意力状态,且更多停留于主观层面。为了使教育工作者更高效地掌握当前的学
学位
通过机器人在非结构环境中执行搜索、救援、探测等各类工作任务,有效提高了这类工作的效率和人员安全性,具有越障功能的机器人正越来越广泛的被部署在非结构环境中。针对现有复合式越障机器人在兼顾翻越垂直障碍和跨越壕沟障碍方面存在的不足,本文旨在设计并实现一款新型轮腿复合式越障机器人,该机器人在拥有轮式移动高效性的同时,对垂直障碍和壕沟障碍也具有良好的通过能力。该机器人还搭载了各类传感器模块,有效的采集机器人
学位
在非传染性疾病中,癌症的发病率与致死率均高居前列,极大的危害了人们的生命健康。目前我国已经成为全球结直肠癌新发病例与死亡病例数量最多的国家。近年来,随着神经网络在不同应用领域的广泛研究与快速发展,将神经网络应用至医疗影像分析也逐渐成为趋势。运用神经网络辅助医师诊断肠道影像,能够提高诊治效率,降低漏诊率,消除主观因素带来的诊断差异。通过对肠炎与肠息肉的诊断与防治,能够极大降低癌变风险。因此,利用神经
学位
深度学习技术在很多领域都得到了非常成功的应用,如语音识别、目标检测、图像生成、自然语言处理等,但是深度学习技术在安全性与鲁棒性方面是十分脆弱的。对抗样本是指在原有数据中添加微小的、不可察觉的扰动所形成的输入样本,会导致深度学习模型以高置信度产生错误输出。对抗样本也可以作为工具辅助攻击者获取有关模型的信息。对抗样本的存在限制了深度学习模型在安全敏感的领域的进一步应用,如异常检测、人脸识别、自动驾驶等
学位
随着深度学习的大力发展,许多优秀的成果已经成功应用,其中移动端的便携性以及高使用频次,使得深度学习结合移动端拥有着更丰富的应用场景,因此设计高效模型以及针对移动端设备的轻量化迁移也成为了当下的热门话题。基于神经网络的目标检测与目标追踪在计算资源丰富的PC端有很好的效果且有非常成熟的部署经验,但是在计算资源有限的移动端存在着算法模型对内存资源开销大,推理预测速度慢等难点,并且部署难度高,限制了目标检
学位
随着人们对绿豆日益增长的需求,丘陵山区的绿豆种植面积逐年增加,适宜机械化收获绿豆新品种的研发与普及,极大地推动了绿豆机收的进程。我国南方丘陵山区地块小而散,整体地势陡峭,土壤黏且重,不适宜中大型联合收割机广泛作业,而传统人力收获具有工作效率低下、劳动强度大和生产成本高等缺点,如今又面临劳动力短缺的困境,因此设计适用于丘陵山区绿豆收获的联合收割机对提高绿豆收割效率、解放农村劳动力和推进农业现代化进程
学位
随着深度学习和人工智能技术的发展,辅助驾驶和自动驾驶成为了当前非常热门且重要的研究课题。无论是辅助驾驶还是自动驾驶,车道线检测都是其中极其重要的一环,是自动巡航、车道线保持等功能的基础依据。因此,找出一种准确、快速且鲁棒性高的车道线检测方法,不仅可以提高辅助驾驶和自动驾驶的安全性,也可以有效的减少交通事故的发生,提高驾驶的安全性,整体提高出行的质量。车道线的检测方法虽然已经有多种方法,但是车道线因
学位
在农网系统的电力设备中,电力变压器极为重要,实践证明绝大部分变压器故障都是由绝缘系统的损坏引起的,因此维持农网变压器良好的绝缘状态是提高变压器使用寿命和提高农网供电可靠性的关键。介损因数是评定变压器油绝缘性能的一项极为重要指标,对判断变压器油的劣化以及污染程度极为敏感。目前农网系统中变压器油介损因数的检测方法为定期从变压器中抽取油样送往实验室进行测定,无法及时检测出变压器油绝缘结构的潜在性故障和突
学位
21世纪,是互联网信息技术高速发展的时代,也是农业机械化程度不断提升的时代。随着互联网信息技术的发展,农业生产作业逐渐走向智能化、智慧化。农机社会化服务是实现农业现代化、信息化和机械化的首要条件,也是农业社会化服务建设的重要内容。相较于前面几十年的发展,新时代的农机社会化服务发生了根本性的变化,网络技术、物联网技术等新兴技术与服务工具的兴起,为农机社会化服务提供了更加便捷的途径,农机社会化服务的构
学位
氧化铁纳米颗粒(Iron oxide nanoparticles,IONPs)是应用较为广泛的纳米颗粒之一,已广泛应用于食品工业、农业生产、医疗等领域。在食品工业中,IONPs常被用作食品添加剂、肥料、食品包装材料和营养素载体等。随着IONPs广泛的生产和使用,极大增加了消费者通过相关食品接触IONPs的可能性。由于纳米颗粒具有尺寸小、表面活性高的特性,使得它们易于与生物体内的大分子物质相互作用,
学位