论文部分内容阅读
摘 要：文章结合综合显示系统的应用实际，从进一步扩展指挥显示功能的需求出发，设计了一套集视频显示、数据显示、综合态势显示于一体的多点触控及显示系统，在提升综合显示系统现场辅助决策能力方面进行了研究。
关键词：多点触控；显示；辅助决策
1 概述
经过多年的建设应用，中国华阴兵器试验中心的综合显示系统实现了综合信息实时按需显示，在任务中发挥了重要作用，为任务的组织指挥提供了可视化的指挥调度手段和信息化辅助手段，提高了整体工作效率。
但在当前的系统应用模式中，显示大厅只为前排的操作人员和保障人员提供了工作台位，而在观摩席位就座的其他人员缺乏必要的个性化按需显示设施，其通過主屏幕了解的信息非常有限，无法做到及时掌握任务进展态势、各关键点实时情况和各设备工作情况等，很多情况只能由各台位保障人员转述，在一定程度上制约了现场决策的灵活性和实时性，无形中加大了任务组织实施的难度。因而有必要为后排相关人员设计一套用于及时全面掌握任务进展态势的多点触控及显示系统，进一步丰富系统显示功能和显示方式，增强人机交互性，全面提高任务保障能力。
2 触控及显示终端系统设计
2.1 系统设计
多点触控及显示系统主要包括控制软件和硬件平台两部分。硬件包括触控显示终端、高性能图形工作站、承载支架等。控制软件实现多路视频源信息和显示终端软件的触控显示功能。系统连接关系如图1所示。
2.1.1 硬件设计
多点触控及显示系统硬件主要由显示终端、图形工作站、承载平台组成。
（1）显示终端。显示终端采用电容技术触摸屏（Capacity Touch Panel，CTP）。可以同时显示16路视频源，并支持10点触控效果。
（2）图形工作站。图形工作站是整个系统信息处理的集成终端，主要实现多点触控组件驱动和数据处理。图形工作站汇集所有接收到的模拟视频源、数字视频源以及计算机信息，并将其所有信息源根据需要进行相应的编码、编排处理，通过显示终端展现给用户。
（3）视频转发服务器。视频转发服务器是整个集成设备信息处理的转发中心，主要实现视频流的多点信息转发处理。视频转发服务器汇集所有接收到的视频流，并将其根据终端需求进行相应的编码处理，通过网络转发给需要显示的终端用户。
2.1.2 软件设计
（1）手势触摸控制界面。如图2所示，此界面安装于图像工作站上，是整个系统的操作界面。在画面浏览窗口内，实时显示各个已正常连接的视频画面和远程桌面，用户可使用手势在各个候选画面进行切换，选择出欲浏览画面后将其拖放于多画面实时显示窗口。在多画面实时显示窗口中放大显示选中的各种画面，包括视频画面、录像画面和远程桌面。用户可以随意在单画面、四画面、九画面之间进行切换。用户可通过该窗口进行视频画面的放大、缩小、平移、推拉等操作（见图3），并可根据连接设置情况进行颜色、对比度、亮度、色度等画面调节。
（2）远程桌面控制。在电子地图和参数显示等计算机上安装远程桌面服务系统，触屏计算机可进行远程桌面控制。该服务系统可响应远程客户端的鼠标和键盘输入，并将本地显示画面实时流畅地传递给图形工作站。同时该图形工作站还能响应远程手势触摸操作，根据鼠标手势进行地图软件的放大缩小、平移切换等操作。
（3）远程视频点播。远程接收视频，选择最佳画质码流，使用RTP流媒体协议实时播放选中的视频画面，在视频服务器提供声音功能的情况下，自动选取相应声音同步播放，可对选看的视频画面进行平移、缩放和推拉操作。
（4）远程视频录像。存储远程视频，并提供界面进行回放。对于触屏客户端接收到的视频流进行本地存储，提供界面以方便事后回放。回放界面应包含播放、暂停、快进与快退功能。
（5）数据浏览。内置网页浏览器；显示数据服务器的上网页内容。操作界面上内置网页浏览器，可同时显示（两幅）网页数据画面，并可以对其显示页面进行触屏操作，根据鼠标手势进行浏览页面的放大缩小、平移切换等操作。
（6）视频转发服务。转发接收到的视频流，支持8台以上的触屏客户端。本系统设计时，需要接收视频编码器传输的视频流，目前正在应用的北清视频编码器只提供最多5路视频流，远远不能满足系统至少8台触屏控制终端同时显示的功能。而且北清的视频编码器还需要对其他系统提供视频流，所以在本系统中，从北清视频编码器接收的视频流只能限定为一路。为了将收到的一路视频流分发给至少8台触屏终端，在系统中增加一台视频转发服务器并配置相应的视频流转发软件，由视频转发服务器实时将接收到的视频流转发给多台客户端，系统设计至少支持16台的触屏客户端。
（7）用户管理。角色设置，安全操作，功能授权。系统设置多种用户级别，对用户操作功能与权限进行分类，设置不同的角色，每一种角色对应相应的功能操作权限。系统设置有超级权限管理员，所有用户及角色都超级管理员创建并逐级下发管理，并在必要时所有权限均可由超级管理员收回。使用系统的每一个用户都归属于不同的用户角色，并且只能使用该角色限定的操作功能。根据实际安全需求本系统设置的用户角色管理员、操作员和浏览用户3种角色，分别是管理员、操作员、浏览用户。
（8）参数配置。参数配置包括：预览区域配置，字幕叠加，配置文件管理。
①预览区域配置。预览区域至少显示16路视频图像和远程桌面窗口，系统超级管理员对预览区域中每一路显示画面均可以单独进行配置，可配置其IP地址、端口号、视频类型、解码方式、显示比例、最佳质量等。系统管理员也可以根据需求额外增加并配置显示画面。
②字幕叠加。每一路画面最多可显示16个汉字的标题。标题文字的设置由超级管理员完成，超级管理员可针对每一路显示画面单独设置是否允许叠加文字以及叠加文字的内容。 ③配置文件管理。所有的系统配置参数包括预览区参数设置、文字叠加设置等都以XML文件格式保存在运行文件夹之下，系统管理员可以按试验名称保存当前信号源配置信息，并将配置文件导出保存。
④本地与远程配置。系统提供本地操作配置界面，所有配置操作均由超级管理员在本地操作完成，可将配置文件导入或导出，可设置预览区画面信息等。
2.2 系统原理
多点触控及显示系统由位于底层的操作系统层、网络通信层、网络服务层和应用显示层4部分组成，如图4所示。
2.2.1 操作系统层
操作系统层是整个系统的基础运行平台，主要向上层提供所需要的硬件驱动、外部设备接口、內存管理与进程控制等服务。其中硬件设备的驱动是选择操作系统首要考虑的内容，如触摸屏多点触控驱动、声音驱动、图形卡驱动、网卡驱动等都需要操作系统层面的支持。
2.2.2 网络通信层
网络通信层使用国际标准的TCP/IP协议来在多个服务器与控制终端之间进行网络包交换通信。考虑到视频流与音频流的突发性与实时性，对于音视频数据包采用面向无连接的UDP数据报协议，以减少传输过程中的抖动和反复，最大限度的保障音视频流的实时与流畅。
2.2.3 网络服务层
网络服务层是在网络层之上提供的可供客户端使用协议来调用的各类服务。系统中包含的视频调用服务使用原有北清、海康、松下视频服务系统。
远程桌面服务安装于参数计算机和地图等计算机上，用于提供远程虚拟桌面服务，通过标准访问控制协议对外提供本地计算机的屏幕图像，并接收远程控制界面的鼠标和键盘控制信号，模拟出一个远程的虚拟计算机桌面。
2.2.4 应用显示层
应用显示层是本系统的显示界面和操作中心。使用稳定可靠的计算机编程语言，保障各子功能的流畅显示，增加对指针设备的多点触摸控制，利用流行的拖拽操作方式，结合操作界面中的窗口、按钮、菜单等界面元素完成画面分割、手指触控和地图漫游的功能。支持鼠标、手势的放大、缩小、轻点、滑动、双指、3指等。
应用显示层还集中了视频调用、远程桌面和网页浏览客户端，通过这3个客户端来跟网络服务层中的相应服务进行交互，完成相应的功能。
3 多点触控及显示系统功能及设计特点
3.1 多点触控及显示系统功能
多点触控及显示系统具有以下8个功能。
（1）系统具有普通账户和管理员两种用户权限，普通帐户只具备画面调阅功能，管理员账户除具备普通账户的权限外，还具备图像源信息维护和全部的显示控制功能，系统支持动态切换帐户。
（2）触控显示终端显示界面分为主显示区域和画面预览区域。
（3）在主显示区域内系统可以根据需要进行单画面、四画面、六画面、九画面显示和切换，双击选中的各种画面进行全屏显示，显示画面包括视频画面和远程桌面，显示画面能进行放大、缩小、平移、推拉等操作。
（4）在画面预览区域内，可显示全部已正常连接的视频画面和远程桌面的实时画面，单屏可同时显示8～16路（路数可自定义设置），通过手指左右划动实现当前显示画面的切换，通过手指上下划动实现预览画面向主显示区域的选择性拖放。
（5）系统可同时接收显示至少6路计算机信号及10路IP视频图像共计16路信号，所有接收的视频图像可以录像保存至本地硬盘中，在需要时可调阅回放。
（6）系统可同时显示（至少两台）电脑屏幕信息画面；并可以对其显示画面进行触屏操作；可对电子地图进行放大、缩小、平移等操作。
（7）预览区域显示信息可以本地和远程进行配置和预览，系统可通过字幕叠加方式远程和本地配置各显示画面的文字说明，可按试验名称保存导出当前信号源配置信息，以便下次相同试验时，直接导入使用历史配置信息。
（8）系统内置网页浏览器，可同时显示（两幅）网页数据画面，并可以对其显示画面进行触屏操作。
3.2 技术特点
3.2.1 稳定可靠的组织架构
系统组织架构中的各个组成部分均采用经过时间验证的可靠性极高的成熟系统与协议，这些系统与协议也代表着国际公认的未来发展的正确方向，有着良好的兼容性和后续发展动力。
3.2.2 国际标准的通信协议
网络服务之间的协议全部采用流行的国际标准协议，包括视频通信协议、远程桌面协议和网页浏览协议，没有自定义任何私有的通信协议，这十分有利于系统的接口与集成。任何系统只要支持这些国际标准协议都可以无缝地与本系统进行对接，使用本系统的全部或者任何一部分功能。
3.2.3 先进的界面展现与操作方式
通过先进的多点触摸设备，提供手势操作的功能，结合流行的视频画面分割与拖拽技术，展示给用户一个清新绚丽而又易于理解操作的控制界面。强劲动力的图形工作站、宽阔护眼的视网膜级大屏、简单无需学习而且符合人体操作习惯的界面行为方式，必将会给用户带来一个全新舒适的操控感受。
4 结语
建立多点触控及显示系统，各类人员可以通过显示屏浏览任务现场画面及综合态势情况，可直观地掌握任务发展态势，指挥员可依据显示信息的相关情况下达命令。该系统拓展了各类决策人员的视野，缩短了任务中的各类事项上传下达的时间，提高了任务整体执行效率。
[参考文献]
[1]殷旭，俞雅玲，王媛，等.采用良好触控体验尺寸的自适应用户界面生成方法[J].计算机辅助设计与图形学学报，2014（4）：662-668.
[2]夏洁.Synaptics与比亚迪合作开发新的汽车触控屏解决方案[J].计算机与网络，2016（5）：76.
关键词：多点触控；显示；辅助决策
1 概述
经过多年的建设应用，中国华阴兵器试验中心的综合显示系统实现了综合信息实时按需显示，在任务中发挥了重要作用，为任务的组织指挥提供了可视化的指挥调度手段和信息化辅助手段，提高了整体工作效率。
但在当前的系统应用模式中，显示大厅只为前排的操作人员和保障人员提供了工作台位，而在观摩席位就座的其他人员缺乏必要的个性化按需显示设施，其通過主屏幕了解的信息非常有限，无法做到及时掌握任务进展态势、各关键点实时情况和各设备工作情况等，很多情况只能由各台位保障人员转述，在一定程度上制约了现场决策的灵活性和实时性，无形中加大了任务组织实施的难度。因而有必要为后排相关人员设计一套用于及时全面掌握任务进展态势的多点触控及显示系统，进一步丰富系统显示功能和显示方式，增强人机交互性，全面提高任务保障能力。
2 触控及显示终端系统设计
2.1 系统设计
多点触控及显示系统主要包括控制软件和硬件平台两部分。硬件包括触控显示终端、高性能图形工作站、承载支架等。控制软件实现多路视频源信息和显示终端软件的触控显示功能。系统连接关系如图1所示。
2.1.1 硬件设计
多点触控及显示系统硬件主要由显示终端、图形工作站、承载平台组成。
（1）显示终端。显示终端采用电容技术触摸屏（Capacity Touch Panel，CTP）。可以同时显示16路视频源，并支持10点触控效果。
（2）图形工作站。图形工作站是整个系统信息处理的集成终端，主要实现多点触控组件驱动和数据处理。图形工作站汇集所有接收到的模拟视频源、数字视频源以及计算机信息，并将其所有信息源根据需要进行相应的编码、编排处理，通过显示终端展现给用户。
（3）视频转发服务器。视频转发服务器是整个集成设备信息处理的转发中心，主要实现视频流的多点信息转发处理。视频转发服务器汇集所有接收到的视频流，并将其根据终端需求进行相应的编码处理，通过网络转发给需要显示的终端用户。
2.1.2 软件设计
（1）手势触摸控制界面。如图2所示，此界面安装于图像工作站上，是整个系统的操作界面。在画面浏览窗口内，实时显示各个已正常连接的视频画面和远程桌面，用户可使用手势在各个候选画面进行切换，选择出欲浏览画面后将其拖放于多画面实时显示窗口。在多画面实时显示窗口中放大显示选中的各种画面，包括视频画面、录像画面和远程桌面。用户可以随意在单画面、四画面、九画面之间进行切换。用户可通过该窗口进行视频画面的放大、缩小、平移、推拉等操作（见图3），并可根据连接设置情况进行颜色、对比度、亮度、色度等画面调节。
（2）远程桌面控制。在电子地图和参数显示等计算机上安装远程桌面服务系统，触屏计算机可进行远程桌面控制。该服务系统可响应远程客户端的鼠标和键盘输入，并将本地显示画面实时流畅地传递给图形工作站。同时该图形工作站还能响应远程手势触摸操作，根据鼠标手势进行地图软件的放大缩小、平移切换等操作。
（3）远程视频点播。远程接收视频，选择最佳画质码流，使用RTP流媒体协议实时播放选中的视频画面，在视频服务器提供声音功能的情况下，自动选取相应声音同步播放，可对选看的视频画面进行平移、缩放和推拉操作。
（4）远程视频录像。存储远程视频，并提供界面进行回放。对于触屏客户端接收到的视频流进行本地存储，提供界面以方便事后回放。回放界面应包含播放、暂停、快进与快退功能。
（5）数据浏览。内置网页浏览器；显示数据服务器的上网页内容。操作界面上内置网页浏览器，可同时显示（两幅）网页数据画面，并可以对其显示页面进行触屏操作，根据鼠标手势进行浏览页面的放大缩小、平移切换等操作。
（6）视频转发服务。转发接收到的视频流，支持8台以上的触屏客户端。本系统设计时，需要接收视频编码器传输的视频流，目前正在应用的北清视频编码器只提供最多5路视频流，远远不能满足系统至少8台触屏控制终端同时显示的功能。而且北清的视频编码器还需要对其他系统提供视频流，所以在本系统中，从北清视频编码器接收的视频流只能限定为一路。为了将收到的一路视频流分发给至少8台触屏终端，在系统中增加一台视频转发服务器并配置相应的视频流转发软件，由视频转发服务器实时将接收到的视频流转发给多台客户端，系统设计至少支持16台的触屏客户端。
（7）用户管理。角色设置，安全操作，功能授权。系统设置多种用户级别，对用户操作功能与权限进行分类，设置不同的角色，每一种角色对应相应的功能操作权限。系统设置有超级权限管理员，所有用户及角色都超级管理员创建并逐级下发管理，并在必要时所有权限均可由超级管理员收回。使用系统的每一个用户都归属于不同的用户角色，并且只能使用该角色限定的操作功能。根据实际安全需求本系统设置的用户角色管理员、操作员和浏览用户3种角色，分别是管理员、操作员、浏览用户。
（8）参数配置。参数配置包括：预览区域配置，字幕叠加，配置文件管理。
①预览区域配置。预览区域至少显示16路视频图像和远程桌面窗口，系统超级管理员对预览区域中每一路显示画面均可以单独进行配置，可配置其IP地址、端口号、视频类型、解码方式、显示比例、最佳质量等。系统管理员也可以根据需求额外增加并配置显示画面。
②字幕叠加。每一路画面最多可显示16个汉字的标题。标题文字的设置由超级管理员完成，超级管理员可针对每一路显示画面单独设置是否允许叠加文字以及叠加文字的内容。 ③配置文件管理。所有的系统配置参数包括预览区参数设置、文字叠加设置等都以XML文件格式保存在运行文件夹之下，系统管理员可以按试验名称保存当前信号源配置信息，并将配置文件导出保存。
④本地与远程配置。系统提供本地操作配置界面，所有配置操作均由超级管理员在本地操作完成，可将配置文件导入或导出，可设置预览区画面信息等。
2.2 系统原理
多点触控及显示系统由位于底层的操作系统层、网络通信层、网络服务层和应用显示层4部分组成，如图4所示。
2.2.1 操作系统层
操作系统层是整个系统的基础运行平台，主要向上层提供所需要的硬件驱动、外部设备接口、內存管理与进程控制等服务。其中硬件设备的驱动是选择操作系统首要考虑的内容，如触摸屏多点触控驱动、声音驱动、图形卡驱动、网卡驱动等都需要操作系统层面的支持。
2.2.2 网络通信层
网络通信层使用国际标准的TCP/IP协议来在多个服务器与控制终端之间进行网络包交换通信。考虑到视频流与音频流的突发性与实时性，对于音视频数据包采用面向无连接的UDP数据报协议，以减少传输过程中的抖动和反复，最大限度的保障音视频流的实时与流畅。
2.2.3 网络服务层
网络服务层是在网络层之上提供的可供客户端使用协议来调用的各类服务。系统中包含的视频调用服务使用原有北清、海康、松下视频服务系统。
远程桌面服务安装于参数计算机和地图等计算机上，用于提供远程虚拟桌面服务，通过标准访问控制协议对外提供本地计算机的屏幕图像，并接收远程控制界面的鼠标和键盘控制信号，模拟出一个远程的虚拟计算机桌面。
2.2.4 应用显示层
应用显示层是本系统的显示界面和操作中心。使用稳定可靠的计算机编程语言，保障各子功能的流畅显示，增加对指针设备的多点触摸控制，利用流行的拖拽操作方式，结合操作界面中的窗口、按钮、菜单等界面元素完成画面分割、手指触控和地图漫游的功能。支持鼠标、手势的放大、缩小、轻点、滑动、双指、3指等。
应用显示层还集中了视频调用、远程桌面和网页浏览客户端，通过这3个客户端来跟网络服务层中的相应服务进行交互，完成相应的功能。
3 多点触控及显示系统功能及设计特点
3.1 多点触控及显示系统功能
多点触控及显示系统具有以下8个功能。
（1）系统具有普通账户和管理员两种用户权限，普通帐户只具备画面调阅功能，管理员账户除具备普通账户的权限外，还具备图像源信息维护和全部的显示控制功能，系统支持动态切换帐户。
（2）触控显示终端显示界面分为主显示区域和画面预览区域。
（3）在主显示区域内系统可以根据需要进行单画面、四画面、六画面、九画面显示和切换，双击选中的各种画面进行全屏显示，显示画面包括视频画面和远程桌面，显示画面能进行放大、缩小、平移、推拉等操作。
（4）在画面预览区域内，可显示全部已正常连接的视频画面和远程桌面的实时画面，单屏可同时显示8～16路（路数可自定义设置），通过手指左右划动实现当前显示画面的切换，通过手指上下划动实现预览画面向主显示区域的选择性拖放。
（5）系统可同时接收显示至少6路计算机信号及10路IP视频图像共计16路信号，所有接收的视频图像可以录像保存至本地硬盘中，在需要时可调阅回放。
（6）系统可同时显示（至少两台）电脑屏幕信息画面；并可以对其显示画面进行触屏操作；可对电子地图进行放大、缩小、平移等操作。
（7）预览区域显示信息可以本地和远程进行配置和预览，系统可通过字幕叠加方式远程和本地配置各显示画面的文字说明，可按试验名称保存导出当前信号源配置信息，以便下次相同试验时，直接导入使用历史配置信息。
（8）系统内置网页浏览器，可同时显示（两幅）网页数据画面，并可以对其显示画面进行触屏操作。
3.2 技术特点
3.2.1 稳定可靠的组织架构
系统组织架构中的各个组成部分均采用经过时间验证的可靠性极高的成熟系统与协议，这些系统与协议也代表着国际公认的未来发展的正确方向，有着良好的兼容性和后续发展动力。
3.2.2 国际标准的通信协议
网络服务之间的协议全部采用流行的国际标准协议，包括视频通信协议、远程桌面协议和网页浏览协议，没有自定义任何私有的通信协议，这十分有利于系统的接口与集成。任何系统只要支持这些国际标准协议都可以无缝地与本系统进行对接，使用本系统的全部或者任何一部分功能。
3.2.3 先进的界面展现与操作方式
通过先进的多点触摸设备，提供手势操作的功能，结合流行的视频画面分割与拖拽技术，展示给用户一个清新绚丽而又易于理解操作的控制界面。强劲动力的图形工作站、宽阔护眼的视网膜级大屏、简单无需学习而且符合人体操作习惯的界面行为方式，必将会给用户带来一个全新舒适的操控感受。
4 结语
建立多点触控及显示系统，各类人员可以通过显示屏浏览任务现场画面及综合态势情况，可直观地掌握任务发展态势，指挥员可依据显示信息的相关情况下达命令。该系统拓展了各类决策人员的视野，缩短了任务中的各类事项上传下达的时间，提高了任务整体执行效率。
[参考文献]
[1]殷旭，俞雅玲，王媛，等.采用良好触控体验尺寸的自适应用户界面生成方法[J].计算机辅助设计与图形学学报，2014（4）：662-668.
[2]夏洁.Synaptics与比亚迪合作开发新的汽车触控屏解决方案[J].计算机与网络，2016（5）：76.