【摘 要】
：
在智慧城市的建设和应用中,随处可见的传感器产生了万亿兆级时空数据.如何从海量、高维、动态的多模态时空数据中挖掘有价值的时空语义关系,感知时空大数据反映的发展态势并进行科学合理的预测显得尤为重要.基于此,设计并实现了面向时空大数据的伴随关系分析系统,基于Spark大数据处理引擎设计,在大量单个用户的时空数据基础上,挖掘多个用户数据在时空中的特征,分析出符合伴随模式的用户群体.系统包括数据采集、数据存储及数据实时分析三个模块,具有高吞吐、低延时等特点,可以帮助解决实时伴随关系挖掘问题.
【机 构】
：
公安部第一研究所 北京 100044
论文部分内容阅读
在智慧城市的建设和应用中,随处可见的传感器产生了万亿兆级时空数据.如何从海量、高维、动态的多模态时空数据中挖掘有价值的时空语义关系,感知时空大数据反映的发展态势并进行科学合理的预测显得尤为重要.基于此,设计并实现了面向时空大数据的伴随关系分析系统,基于Spark大数据处理引擎设计,在大量单个用户的时空数据基础上,挖掘多个用户数据在时空中的特征,分析出符合伴随模式的用户群体.系统包括数据采集、数据存储及数据实时分析三个模块,具有高吞吐、低延时等特点,可以帮助解决实时伴随关系挖掘问题.
其他文献
针对传统的大数据处理框架Hadoop在执行计算任务时抽象层次低、运行速度慢、无法实时计算等问题,提出了一种基于内存的分布式框架Spark作为计算引擎的方法.结合Hadoop框架中的分布式文件存储技术,设计了一个电商用户行为分析系统.首先根据数据特点建立用户画像,然后对用户访问行为数据进行离线分析,计算网站页面转化率以及统计热门商品,最后对实时的广告数据进行分析.测试结果表明,基于Spark框架的电商用户行为分析系统能够明显提升的运行速度与稳定性,增加数据处理效率.
对数据流上变化的挖掘算法展开探究,分析数据流变化挖掘算法在实践中的运用.首先阐述了数据流变化挖掘算法的实际价值;其次对数据流、变化、水库抽样三种挖掘方法进行总结,了解到数据流的不同应用形式的运用要点;最后立足于数据流上变化挖掘算法设计、数据流性能两个方面分析.结果表明NBCC算法可以连续挖掘数据流上的变化,具有非常显著的应用价值.
为了解决中文电子病历实体识别时数据特征提取不充分,分类时数据丢失等问题,提出了一种融合LSTM与CRF模型,通过运用人工智能算法对电子病历数据进行解析与重构,将病历数据进行可视化与结构化构造,设计开发了一种中文电子病历命名实体识别系统,能够实现在线测评、自动阅览、自动诊断、自动生成健康档案等功能,文章对人工智能技术在中文电子病历命名实体识别系统设计与实现进行了分析探究.实验结果表明,在患者入院诊断流程中,采用该方案设计开发的中文电子病历命名实体识别系统较其他系统更智能、更客观、能够辅助提高医生诊断的精确度
针对人们在购物、娱乐、学习总是在不同平台之间的频换切换的问题,提出了创建一个集多功能于一体的移动端平台.Vue.js前端框架通过简单的API来实现响应的双向数据绑定,并支持组件化开发.以“微商城”项目前端的设计与开发,介绍了Vue.js框架具体应用,包括项目Vue开发环境的搭建、项目的设计与实现,最终实现了一个用户体验友好、前后端分离的微商城前端.
针对高校数据中心中硬件利用率低下、学校运行成本居高不下的问题,提出了采用超融合技术将数据中心内的存储、计算和网络资源进行池化,对学校的业务和相应的数据进行有效重组、管理和资源调度.超融合网络的部署使用软件定义的部署方式,在服务器虚拟化方面,对现有服务器进行整合、扩充,用作虚拟化主机;在网络虚拟化方面,把路由、交换、安全、负载均衡等根据实际需求从物理网络上解除耦合,进行池化;在存储虚拟化方面,与HA/DRS/vMotion高度集成,把存储从硬件中抽象出来.结果表明超融合技术可以提高数据中心高可靠性、高可用性
国土空间基础信息平台建设是推进自然资源“两统一”空间治理的重要手段.文章从市级自然资源数据的管理现状出发,以“看得更真、管得更准、保得更严、用得更好”为目标,分析了地图微服务架构、二三维时空信息数据一体化整合、全业务链大数据融合处理、分级分层数据安全管理及使用跟踪等新技术要求,总结了相关技术集成要点,研发设计了基于全域全业务多时空自然资源大数据体系的市级国土空间基础信息平台.通过国土空间基础信息平台应用实现自然资源数据的统一管理、自适应活化与可靠应用,有效支撑了市级自然资源一体化管理.
目前杀毒软件的特征库不断完善,使用传统的免杀技术往往需要耗费较多的时间且免杀效果已不太理想.针对这一问题,提出了一种基于Python的ShellCode免杀方法.从杀毒软件扫描引擎原理出发,首先通过对免杀技术的原理分析,然后生成ShellCode,并对生成的ShellCode进行处理,最后结合Python语言编译生成可执行文件,在免杀文件运行的同时,保持本地杀毒软件为打开状态,同时上传免杀文件至VirusTotal进行多引擎在线查杀.结果 表明生成的免杀文件能够有效运行,免杀效果达到预期目标.
核电厂定期设备检修等设备管理工作任务重、周期短,对作业人员提出了很高的技术要求,如何实现作业人员进行安全、可靠、高效的现场工作成为一种迫切需要.针对以上问题,采用三维建模技术构建主要厂房、系统和设备虚拟场景,利用虚拟仿真技术,结合实际工作内容,实现模拟设备检修全过程的智能、可视模拟操作,在虚拟环境中对设备拆卸作业的潜在干扰和冲突进行排查,模拟设备运行状态控制过程以防止人因误操作,确保职工的健康和安全,缩短检修时间、节约成本,进而提高设备可靠性.
随着光纤应用的普及,对其测试技术也提出了更高的要求,仅靠手动测试很难反复迭代以及时间的充分利用,因此光网络终端设备ONT自动化测试技术的进一步研究自动化测试显得极为重要.首先针对光网络终端ONT自动化测试方案,以及如何实现自动化来展开探讨和研究;然后对国内ONT进行自动化测试实验的基础上进行了扩展,引入了Jenkins集成工具来进行统一化、标准化、规范化管理.此项技术能够自动获取最新可测版本进行回归测试,也可以指定特殊版本进行测试,并且可以任意指定被测设备,从而使得自动化测试更能提高测试效率,释放人力资源
为解决目前探井试油选层人工判断的局限性,改变传统工作思维方式,基于目前油田探井试油讨论业务流程,构建了适合探井试油选层的大数据存储和计算基础环境.在传统KNN机器学习算法基础上,优化形成了基于多地质参数的双加权KNN算法,实现了试油相似井层智能推荐,提出了基于相似度加权的产能定量计算公式,实现了待试油层产能定量估算.以东营南坡的部分探井为例进行验证,算法结果基本符合实际生产情况,为待试油井层的产量计算提供了可行的智能化辅助支持手段.