论文部分内容阅读
现代粒子加速器的控制系统通常需要存储和管理大量的数据,例如装置各个系统运行中产生的实时数据,以及数以干计的各类设备元件在设计、采购、加工、安装时产生的静态数据等,这些数据对装置的稳定运行和调试维护起着至关重要的作用。随着粒子加速器装置规模越来越大,其复杂程度也在不断提升,粒子加速器产生的数据量也将显著增加,现有传统的数据存储和处理手段将不能满足应对海量数据的需求。因此,研究大型粒子加速器数据的存储、查询和有效利用数据的方法,建立恰当的数据库结构、数据管理系统以及数据处理工具是十分必要的,有着重要的应用意义。
对于加速器运行数据来说,控制信号的数目随着装置规模变大而不断增加,同时对于较高系统复杂度和精度的系统,需要的信号数据也会增多,使得运行数据的存储和管理面临着巨大的挑战。这些历史数据结构并不复杂,但数据量庞大,与传统的基于索引文件的数据库和关系型数据库相比,非关系型数据库不但能更好地应对海量数据的存储性能,也可以更好的实现大数据的分析和处理。作者通过对几种常用非关系型数据库进行调研,自行设计开发了基于MongoDB的运行数据存储工具,具有数据格式灵活、高可扩展性、高可用性等优势,方便搭建分布式数据存储系统。作者设计了数据存储引擎,可以针对运行数据的特点建立存储模式和合适的索引,实现对EPICS系统下的信号量进行采集并存储。另外,针对MongoDB数据库开发了桌面和网页两种查询应用,实现更简单、方便地对加速器历史数据进行查询、绘图、导出功能。该工具不仅适用于北京正负电子对撞机重大改造工程(BEPC-Ⅱ),也可以应用在其他加速器装置中。
对于加速器静态数据,作者重点调研了正在设计中的高能光源(HEPS)磁铁设备相关数据,这些数据关联紧密,格式多样,当前的文件存储方式不利于磁铁信息的共享、管理以及整体的信息化管理。作者在充分调研了磁铁数据的特点和实际需求后,基于更适合关联性数据的MySQL数据库设计并搭建了磁铁数据库模型以及网页管理系统,能够对各类磁铁设计信息、设备信息、磁铁测量信息进行规范存储和关联查询,这些功能为此类设备信息的存储和维护提供了很大的方便。该数据库不仅满足了磁铁数据库的需求,也可以方便地同其他数据库进行关联或移植到其他加速器项目中。
对于加速器控制系统来说,一方面需要对运行数据和静态数据进行安全、可靠的存储,另一方面,研究如何对这些数据进行有效的分析、挖掘,充分从数据中获取有用的信息,利用这些信息进行设备调试、诊断设备故障、优化系统的性能等具有重要的意义。传统的控制系统大多依靠有经验的运行人员对系统进行调试优化等操作,但对于关系越来越复杂、要求越来越高的大型粒子加速器来说,机器学习技术可以作为更好的解决方案。作者在主流机器学习框架下,设计开发了一套适用于粒子加速器领域机器学习应用开发的通用功能平台,包含对机器学习应用全流程的覆盖,提供了常用的加速器数据源的数据获取功能、基础数据预处理功能、通用训练算法、结果分析和模型评估等API,简化了机器学习或相关应用开发人员的开发过程,改善了数据准备过程繁琐的问题,为机器学习相关应用的设计和开发打下了基础。
对于加速器运行数据来说,控制信号的数目随着装置规模变大而不断增加,同时对于较高系统复杂度和精度的系统,需要的信号数据也会增多,使得运行数据的存储和管理面临着巨大的挑战。这些历史数据结构并不复杂,但数据量庞大,与传统的基于索引文件的数据库和关系型数据库相比,非关系型数据库不但能更好地应对海量数据的存储性能,也可以更好的实现大数据的分析和处理。作者通过对几种常用非关系型数据库进行调研,自行设计开发了基于MongoDB的运行数据存储工具,具有数据格式灵活、高可扩展性、高可用性等优势,方便搭建分布式数据存储系统。作者设计了数据存储引擎,可以针对运行数据的特点建立存储模式和合适的索引,实现对EPICS系统下的信号量进行采集并存储。另外,针对MongoDB数据库开发了桌面和网页两种查询应用,实现更简单、方便地对加速器历史数据进行查询、绘图、导出功能。该工具不仅适用于北京正负电子对撞机重大改造工程(BEPC-Ⅱ),也可以应用在其他加速器装置中。
对于加速器静态数据,作者重点调研了正在设计中的高能光源(HEPS)磁铁设备相关数据,这些数据关联紧密,格式多样,当前的文件存储方式不利于磁铁信息的共享、管理以及整体的信息化管理。作者在充分调研了磁铁数据的特点和实际需求后,基于更适合关联性数据的MySQL数据库设计并搭建了磁铁数据库模型以及网页管理系统,能够对各类磁铁设计信息、设备信息、磁铁测量信息进行规范存储和关联查询,这些功能为此类设备信息的存储和维护提供了很大的方便。该数据库不仅满足了磁铁数据库的需求,也可以方便地同其他数据库进行关联或移植到其他加速器项目中。
对于加速器控制系统来说,一方面需要对运行数据和静态数据进行安全、可靠的存储,另一方面,研究如何对这些数据进行有效的分析、挖掘,充分从数据中获取有用的信息,利用这些信息进行设备调试、诊断设备故障、优化系统的性能等具有重要的意义。传统的控制系统大多依靠有经验的运行人员对系统进行调试优化等操作,但对于关系越来越复杂、要求越来越高的大型粒子加速器来说,机器学习技术可以作为更好的解决方案。作者在主流机器学习框架下,设计开发了一套适用于粒子加速器领域机器学习应用开发的通用功能平台,包含对机器学习应用全流程的覆盖,提供了常用的加速器数据源的数据获取功能、基础数据预处理功能、通用训练算法、结果分析和模型评估等API,简化了机器学习或相关应用开发人员的开发过程,改善了数据准备过程繁琐的问题,为机器学习相关应用的设计和开发打下了基础。