基于大数据的精准推送分类信息发布平台

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:intel20107
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:目前校园内信息的交换方式主要依靠QQ群、空间动态、朋友圈等,这些方式在区域范围内会产生很多信息孤岛,信息分散、利用率低。分类信息发布平台通过网站、微信服务号、微信小程序等相关服务的部署,实现了失物招领、二手闲置信息、生活优惠信息和招聘信息的精准推送,极大地方便了用户对信息的获取。
  关键词:分类信息发布;机器人;精准推送
  中图分类号:G642 文献标识码:A
  文章编号:1009-3044(2020)14-0086-02
  1项目背景
  大学区域内在学习资源交流、失物招领、生活信息交流等方面均有信息发布的需求,这部分信息流通主要是在QQ群、微信群、空间动态、朋友圈等平台,这种平台校内存在很多,就像一个个“孤岛”一样,导致信息分散,信息利用率低。并且现有平臺浏览麻烦,信息重复率高。所以需要串联“孤岛”实现信息整合共享,并通过各项技术:机器人服务、微信小程序及大数据技术的应用,将临沂大学区域分类信息实现价值最大化。
  2关键实现技术
  2.1大数据技术
  平台将用户上传的数据或者通过机器人转发的数据等信息作为数据源导人到大数据重要的组成部分:计算层,在这里我们采用了Hadoop平台。Hadoop平台所包含的两大核心框架HDFS(分布式存储)和MapReduce(分布式计算)对于信息发布平台来讲,这两部分较为适合本项目信息整合的需求场景。具体体现在:Hadoop平台适应于一次写入,多次读取的场景,也就是数据复制进去之后,长时间在这些数据上进行分析。同时Hadoop平台还具有一大优势为高效性,这也是Hadoop平台的核心竞争优势所在。接收用户的数据请求后,Hadoop可以在数据所在的集群节点上并发处理。这无疑提高了对于信息处理的效率。当然它也存在一些不足,如在Mapreduce框架下,很难处理实时计算,作业都以日志分析这样的线下作业为主。但对于这样的信息发布平台所需要的需求来讲不会产生任何形象。
  通过Hadoop平台对信息资源进行合理的分类整合后,会将信息内容整合到对应的模块,为此我们在信息发布平台设立了切合实际需求的一些信息展示模块。并通过机器人实时推送到有相关需求的群体当中去。
  2.2反爬虫技术
  分类信息发布网站有可能会遇到黑客爬虫进行的信息抓取盗用,市面上已有的反爬虫技术相对来讲比较完善了,传统反爬虫手段,像动态页面ajax请求,后台对访问进行统计,如果单个IP、session、userAgent访问超过阈值,予以封锁。平台在已有反爬虫的基础上在某些代码层增加SQL注入语句甚至XSS语句,使爬取的黑客爬虫数据库被强行删库或被我方getshell达到另类反爬效果。
  2.3静态资源OSS存储
  通过OSS存储技术将动态资源与静态资源分离,降低了服务器压力,也同时提高了用户的访问效率。通过对静态资源的OSS存储鉴权验证进一步增强了网站的网络安全防护能力,使得木马文件即使绕过防火墙上传到OSS服务器中也无法执行。
  2.4技术架构前后端分离
  为保证用户数据安全,提升大数据调用性能,降低维护成本方便多平台接入管理。平台采用前后端分离,解耦思想。前后端分离中,传输的是数据、Model。数据怎么展示,全部交给前端来处理,后端只负责提供数据。网页之间有各种跳转交互,在前后端分离中,跳转的页面控制全部是由前端来决定,跟后端完全没有关系,这也从根源上杜绝了一些前端逻辑漏洞造成getshell的情况。管理上只要做到前端后端一起鉴权,Node层校验登录态,后端校验登录态,同时后端校验数据归属,这几个层面就基本上能够保证系统的软件层安全,再将后台管理服务器与数据库分离,通过IP归属校验与强规则权限限制,可以保证程序数据的安全。
  2.5机器人推送
  通过QQ机器人功能,联合平台大数据分析中心将用户与多个孤岛平台串联,让用户通过与QQ机器人对话的形式参与平台的使用,增加用户便利性。QQ机器人通过酷Q调用安卓QQ协议登录,并通过HTYP和WebSocket对酷Q的事件进行上报以及接收请求来调用酷Q的DLL接口,实现平台一系列架构功能。
  3平台的设计与实现
  3.1微信服务号
  针对用户行为分析,发现在微信公众号中打开这种方式相对于大众来讲更容易接受,免去程序安装的麻烦。微信服务号也作为自媒体平台运营的阵地之一,通过高质量文章对平台进行引流。通过微信服务号用户可以无感知微信登录,并且可以收到来自微信公众号的最新消息推送。
  3.2分类信息网站
  信息发布平台的网站,设置了不同的信息类别模块,包括生活优惠信息、闲置信息、招聘信息以及租房信息等。不同的模块的区分对不同信息进行整合。
  通过分类信息发布平台可以一键发布需求或一键发布供应信息,供求信息发布后在大数据模块的响应分析后自动生成最优解推送,以供用户选择。在分类信息发布平台上用户发布信息后,对相关信息感兴趣的用户即可发起线上咨询,最新消息提醒将通过微信公众号发布提醒消息,如图1所示。
  3.3推送机器人
  以用户为中心、满足用户正向需求为原则,我们开发了针对信息发布平台的推送机器人。它可以实现信息的精准推送与校内分类信息孤岛平台的联结。也可以实现快速的信息上传,如图2所示。
  通过与QQ机器人直接沟通交流可以获得平台最新信息以及所需的最优方案解决方法,使用的方法也很简单,添加其好友或者加入机器人所在QQ群即可。
  3.4小程序
  在学校同学们对于失物招领的需求比较大,根据实际情况开发的临沂大学事物招领微信小程序,在功能上可实现对物品信息直接搜索查找,提高信息的利用率。
  通过小程序来实现校内失物招领,用户在完善了资料之后就可以发布物品丢失或者捡到物品的信息,发布成功后将展示在首页,用户物品丢失后即可通过首页上方的搜索功能搜索到与自己相关的物品信息,并通过“联系我”功能联系物品发布者,如图3所示。
  4平台的优势
  项目在传统分类信息的基础上大胆创新融人大数据思想,通过大数据 聊天机器人技术实现用户信息的精准有效交互,解决了传统分类信息的内容庞大繁杂,内容真实性不可保证的缺陷。将大部分的人为因素通过技术、创造合约执行自动化的条件,保证了分类信息平台诚信环境的构建。通过聊天机器人可将当前已有的大多数分类信息平台联结起来实现孤岛整合,信息共享。
  用户习惯方面不可一蹴而就,文化认知方面更不是一朝一夕可以养成的。但大众习惯归根结底与大众性格相关。在没有国外交易文化的前提下想要让用户能够对产品产生依赖,就需要产品自身能否给用户带来足够的便利,平台大基于大数据与聊天机器人的结合就可以完美解决该问题,通过搜集用户行为信息形成的人物画像,可以实现信息精准推送,同时也实现了串联已有信息孤岛,整合信息发布类平台实现信息共享,且全程不会给用户在操作上带来任何其他的门槛,一切基于合约执行自动化的思想,无形中创造信息的价值。
  将分类信息发布平台与自媒体形式一体化产业化,校园为特殊的用户群体范围,自媒体平台吸引学生流量从而吸引商家人驻与广告投放,配合做好网站文化,自媒体平台通过对产品的设计包装,投放进信息发布平台内,实现包装宣传、定位投放一体化、一条龙信息服务链。
  依据功能优势与用户群体特点专注区域信息发布,国内已有的信息发布类网站因为资本运作问题、用户认知问题、用户交易习惯等问题,使得早已失去了原本c2c方向的分类信息发布方式。平台基于大学校园这一特殊用户群体实现的区域信息发布平台,正是由于区域性与大学生的诸多特性不会重蹈国内其他分类信息发布平台的覆辙,也能使精准投放功能更加优秀地实现。
  5总结
  新形势、新技术下分类信息参与到高校供求关系解决中来,为高校学生的生活带来了新的机遇,也出现了前所未有的挑战,为此,要结合大数据技术对信息分类推送进行深入研究,探索构建分类信息推送系统的具体途径,最终实现高校分类信息推送系统完成新的架构。
其他文献
菲尼克斯电气中国公司与浙大中控公司联合开发的首款大规模联合控制系统SUPCON Web Fietd ECS-700新品发布会9月18日在第18届多国仪器仪表展期间隆重举行。应浙大中控公司盛
目的:探索长春新碱联合泼尼松治疗难治性血小板减少性紫癜的护理策略。方法:对神经系统毒性和局部血管反应实行预防护理、用药观察护理及心理护理等对策。结果:患者局部肿胀、疼
在数字信息时代,每个大学都有自己的教学管理系统,该系统是将学生与学校之间建立联系,但缺少了学生与学生之间联系的桥梁,所以为了更好地帮助在校大学生更好地适应校园生活、
以CCD图像传感器IL-P3为例,在分析其驱动时序的基础上,结合CPLD软件和VHDL语言,设计一种可调节曝光时间的CCD驱动电路。仿真和实验袁明,设计的驱动电路能满足驱动时序的要求。
随着基本医疗保障制度在农村居民的全面覆盖,药品零差价在乡镇医院的实施及新型农村合作医疗在乡镇医院报销比例的不断提高,来乡镇医院就诊的患者与日俱增,给乡镇医院护理工作的
目的 随访冠状动脉旁路移植术(CABG)术后桥血管病变成功行介入治疗患者临床主要不良心血管事件(MACE)的发生情况,探讨原位血管介入治疗(NV-PCI)和桥血管介入治疗(graft-PCI)策略对患
XSS是一种在Web应用中的计算机安全漏洞,它能让Haker将代码植入到其他用户使用的页面中.虽然XSS漏洞本身的机制比较简单,但由于当今B/S结构的高度发展,网站需要实现的需求越
针对HART协议产品的要求,开发基于HART协议低功耗的智能定位器,给出具体的硬件设计和软件设计,特别是针对阀门定位器的低功耗特性作出分析。
目前我国政府已将《科学仪器设备研制与开发》列入"十一五"国家科技支撑计划重大项目.而要提升国产分析仪器的技术水平,主要应解决哪些问题?我国企业如何做才能使国产仪器在国内
文章介绍了通过DAO实现计算机基础考试中Access题目自动阅卷的方法,能够大大提高阅卷的速度,而且结果准确、客观、公平。