基于垂直搜索的查询需求识别系统的设计与实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:bxz231
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
该项目来源于百度垂直行业搜索产品线的实际项目。随着智能手机的普及,越来越多的用户开始使用手机端进行检索。由于手机大小的限制,一个屏幕可以呈现三条左右的返回结果,因此在前三条结果中返回用户需要的信息成为手机端检索的新挑战。当前的检索策略是由通用搜索对结果进行统一整合,信息划分粒度较粗,不能满足用户的垂类(某一特定行业、特定领域,例如汽车,医疗等垂类)细分需求。为了提升用户在手机端的检索体验,项目组决定开发一个用户需求识别的内部系统来对用户需求进行离线挖掘,方便产品人员和研发人员对垂类资源的管理和监控。本文首先阐述了项目的背景以及国内外现状,对整个系统进行功能性和非功能性需求分析。根据需求分析设计系统架构、划分系统功能模块、设计系统数据库。接着对系统进行详细设计与实现。作者独立完成了样本抽取和模型训练这两个底层模块,以及系统的用户管理、样本标注评估和需求泛化模块的开发工作,参与完成了资源管理模块的部分开发工作。在系统设计和实现过程中,调研分类模型、用户行为评估和数据融合三种技术方案对样本数据的提取率,从半结构化数据中提取用户需求样本;评估常用二分类算法在当前业务场景下的效果,选择xgboost算法训练模型对需求进行泛化,并从数据、特征、参数三个角度对模型进行调优;对用户进行角色和权限划分,通过分配角色和权限,实现系统对用户横向和纵向的双向管理;对样本的标注功能和对数据的评估功能进行可视化处理,节省产品人员操作数据的时间,提高工作效率;需求泛化模块实现了对样本提取和泛化模型的封装,降低系统的使用门槛,使非机器学习方向的研发人员能通过需求泛化模块参与需求离线挖掘工作;使用Echars图标控件对资源线上情况进行展示,实现对垂类中资源的管理与监控。对系统进行功能测试,保障了系统的正确运行。目前论文所设计的查询需求识别系统已经上线投入使用,针对不同垂类的数据合格率均达到90%以上,系统运行正常、功能稳定,达到了预期目标。
其他文献
由于集成技术的发展,越来越多的嵌入式实时系统在单一的计算平台上集成了多个功能,这使得原本隔离运行的不同关键性级别的应用程序共享处理器资源。然而,这种通用计算平台不
中韩两国曾在地域上比邻而居,语言接触密切,其中“文字接触”比较明显,汉字在传播过程中,不断地适应、调整,造成了各种变异现象,其中诞生了诸如借字表记法、固有汉字等产物。
克氏原螯虾(Procambarus clarkii Girard),属节肢动物门,甲壳纲,十足目,蝲蛄科,原螯虾属,又名红色沼泽螯虾,俗称淡水龙虾或小龙虾。据报道,克氏原螯虾虾肉中,蛋白质含量为58.
随着计算机技术的发展,数据在日常生活中扮演着越来越重要的角色,数据备份成为数据保护的一种有效手段。远程文件同步技术在数据备份、文件同步等方面有着广泛的应用。rsync(
并行编程技术由于其运算效率高且性能好的能力,一直是学术界和工业界的热点研究对象。作为其中一种解决方案的事务内存处理技术(Transactional Memory,TM),采用以事务代替锁
目前,视觉跟踪算法作为人工智能的一个重要研究方向,多种视觉跟踪算法应运而生。跟踪学习检测(Tracking-Learning-Detection,TLD)视觉跟踪算法就是其中一种。因其结合跟踪和
大数据时代,数据规模日益增大,存储系统面临着速度、容量、功耗、成本、可扩展以及非易失、耐久性等多方面的挑战。传统的动态随机存储存取器(Dynamic Random Access Memory,
为加强社区服刑人员学习矫正工作,认真落实社区服刑人员每月接受教育学习不少于八小时的工作要求,论文设计并开发了社区服刑人员在线学习系统,旨在提高社区服刑人员学习教育
铝合金的比强度高、耐腐蚀性好,是工业中应用最广泛的轻金属结构材料。然而,铝合金也有自身的缺点,如硬度低、耐磨性差,这导致铝合金工件在摩擦条件下的使用寿命较低,阻碍了它的发展与应用。在铝合金表面电镀得到Ni-SiC-MoS_2复合镀层能有效改善其摩擦学性能。然而由于电镀过程受多种条件的影响,因此得到质量稳定、性能良好的镀层显得尤为重要。本文通过对制备Ni-SiC-MoS_2复合镀层工艺的进一步优化,
随着云计算和多媒体通信技术的快速发展,屏幕图像在远程计算、虚拟桌面共享、在线教育等领域有着广泛的应用,受到学术界和工业界的普遍关注,成为当前图像技术领域的研究热点