论文部分内容阅读
摘要：本文提出了一种将HTSPN模型应用于多媒体集成的研究方法，通过Petri网与多媒体资源关联模型的设计，将Petri网作为一个集成多媒体进行呈现。并将该方法应用于实践，实现了一个基于HTSPN模型的多媒体集成系统。
关键词：多媒体集成；Petri Net；HTSPN
中图分类号：TP37文献标识码：A文章编号：1009-3044(2007)12-21767-02
MultiMedia Integration Research and Implementation based on HTSPN Model
WANG You-wei
(Shandong Rural Credit Cooperative Union, Jinan 250001, China)
Abstract：How to make the information rendering carried by MultiMedia more accurately and alluringly, has been our goal, and many research efforts in the direction. This paper presents a Multimedia Integration methodology from HTSPN, with the design of Petri nets through multimedia resources associated, it can be showed as a integrated multimedia. We also carried the methodology to practice, the realization of the system based on HTSPN Multimedia Integration has been completed. Users can integrate multimedia conveniently and rapidly by the freely Petri Nets design. By these, the performance of multimedia has been enhanced, and we got a better enjoy.
Key words：MultiMedia integration;Petri Nets;HTSPN
1 引言
现代社会，多媒体技术使计算机功能实现了跃变，多媒体的集成是指同一个文件中把来自多个通道的信息统一获取、组织、存储和合成，使得文字、图像、声音等各种信息能同步地作用于我们的听觉、视觉等感官。如何更方便、更有效的对多媒体进行集成，以实现更好的信息展示的效果，这一直是许多研究致力的方向，相关的探索和研究如SMIL[1]多媒体文件生成、基于语义和Petri网的多媒体模型[2]等已取得了一定的进展和良好的效果。但目前的多媒体集成模型过于专业化，繁琐的语法和复杂的操作无法满足普通用户对多媒体集成的需求。
本文提出了一种基于HTSPN[3]模型的多媒体集成方法，并基于该方法实现了一个多媒体集成系统。
2 相关背景知识
2.1 Petri Net
Petri Net[4]由德国人Carl Adam Petri 在1962年提出，是对离散并行系统的数学表示，用于描述异步发生事件。Petri网模型是目前系统建模领域中被人们广泛采用的一种方法，它在描述离散事件动态系统方面具有较强的模型分析能力。
2.2 HTSPN
HTSPN（Interpreted-Hierarchical Time Stream Petri Net）：带解释信息的分级时间流Petri網，是基于Petri模型的一种扩展。
HTSPN = {T，P，C，t，R，M}；其中 T，P，C，t与基本Petri网定义相同；
R:P{r1, r2, ..., rk } 定义了由位置集向资源集 {r1, r2, ..., rk } 的映射；
M:P{m1, m2, ..., mk }定义了由位置集向资源集时间关系 {m1, m2, ..., mk }的映射。
3 关联模型的研究和系统框架的设计
3.1 关联模型的研究和设计
结合HTSPN模型的特点，在HTSPN与多媒体文件之间的映射是从三个方面完成建模的：
(1)概念结构－Petri属性映射模型：在Petri网设计时定义外部属性，规定集成后得到多媒体文件的播放属性，如发布者信息，播放窗口大小，背景风格、颜色等信息，我们定义此部分模型为HTSPN属性的扩展。
(2)播放时序－变迁映射模型：是将HTSPN中的变迁与多媒体播放时序进行映射。Petri流的触发性流程决定了构成多媒体的媒体文件进行更替时必须遵守一定的时序规则，按照流程既定时序进行。我们将播放过程中帧之间的更替与变迁进行映射，Place中持续时间完毕后触发变迁，跳入下一个库所，即进入下一帧中媒体资源的播放。
(3)媒体资源－库所映射模型[5]：是将HTSPN中的库所与用于多媒体集成的媒体资源进行映射。Petri流程中的一个库所元素，分别代表一个集成多媒体的资源。库所中赋予属性，为媒体资源定义媒体类型、媒体源路径、持续时间、播放窗口位置及大小等等。
3.2 系统框架的设计和实现
根据映射模型的定义，该系统框架由四个主要的部分进行实现：界面模块、文档模块、控制模块、解释模块。系统框架各模块之间的工作流程如下图1所示。
图1 各模块间工作流程
3.2.1 界面模块
该模块为用户提供媒体文件Petri建模的图形工具以及多媒体集成效果预览和播放的界面。
(1)多媒体文件Petri建模模块：用户通过操作，完成Petri流程的设计、库所和媒体源以及变迁与播放时序之间的映射等操作。界面如图3中所示；
(2)多媒体文件Petri建模模块：通过解释模块对设计好的多媒体文档的解析，系统允许用户在设计过程中对相关效果随时预览，设计完成后播放文件。效果如图4中所示。
3.2.2 文档模块
该模块是该系统和底层多媒体文件交互的接口，其主要功能有两个，首先是对用户设计的整个多媒体Petri流的存储，用于系统控制模块中对多媒体文档的建立；另一个功能是对用户定义的Petri流中数据信息以及显示信息等属性的存储。
3.2.3 控制模块
该模块是系统实现多媒体文档建模的主要部分，在本文第二节中提及的三个模型的建立都在此模块进行实现。
(1)媒体文档类：通过库所－媒体建模，按照界面模块中用户设置的库所媒体来源的属性将库所和相应的媒体文件关联，并赋予用户对该库所设置的其他属性；
(2)播放时序类：通过变迁－播放时序建模，按照用户设置的库所持续时间以及变迁触发条件，对变迁的触发和库所间的替换进行定义，实现Petri流程播放时序的定义；
(3)调度器：按照播放时序对媒体源进行调度，得到播放流程参数传递给解释模块以便进行显示； (4)逻辑控制类：按照Petri网的定义，设置一定规则，对用户进行Petri流程设计和建模时从逻辑上进行约束和限制，防止逻辑错误的发生。
图2 控制模块关系流程图
3.2.4 解析模块
在此模块中，系统按照用户定义的多媒体文档的属性，结合控制模块中播放时序类传递的参数，完成对多媒体文档的解析，并能在得到指令后向用户呈现。进行多媒体播放时采用的关键技术包括：
(1)TVI[5]控制器：采用多种同步控制机制控制多媒体文件播放的同步。
(2)变迁触发器：定期分析多媒体文件的HTSPN模型，确定某时刻需要触发的变迁，停止输入媒体文件的播放，开始输出媒体文件的播放。
(3)媒體资源预取模块：通过分析多媒体文件的Java I-HTSPN模型及相应算法，确定下一时间段将要触发的变迁，提前对相应媒体文件进行多线程数据传输，用相应的表示方式对媒体资源进行预取，有效增强了系统播放过程的实时性。
4 系统的实现
该系统采用Java语言实现，不仅支持本地媒体资源的获取，而且可以利用互连网络媒体资源。用户在通过系统界面完成Petri流设计之后，经过系统中相应模块的解析和显示，对集成的多媒体进行呈现。
图3是一个Petri流的设计，集成了三个变迁三帧的Petri流。图4为效果展示图，为拥有三个库所的第二帧效果截图。
图3 Petri流设计
图4 播放效果展示
5 展望和结语
随着多媒体技术的发展，人们对多媒体呈现效果的要求也会随之越来越高。功能强大，操作简便的多媒体制作系统将成为迫切需要实现的目标，这也是我们需要进一步探索和研究的方向。
参考文献：
[1]Wang Danling，The Application of Synchronized Multimedia Integration Language on CAI[J].电脑知识与技术：技术论坛,2005,10.
[2]Medina-Medina N., García-Cabrera L., Rodríguez-Fortiz M. J., Parets-Llorca J., Adaptation in an Evolutionary Hypermedia System: Using Semantic and Petri Nets. Adaptive Hypermedia and Adaptive Web-Based Systems: Second International Conference, 2002, 2347, Process of Petri Nets Extension.
[3]陈莘萌，许先斌，许卫平，张苓.Analysis and Comparision of Petri Net Based Model of Hypermedia[J].计算机工程与应用,2002,19.
[4]ZHAI Yi-feng, HOU Zhao-cheng.The Research on Workflow Process Modeling Based on Petri-nets[J].微电子学与计算机，2007.
[5]R. Willrich, P. de Saqui-Sannes, P. Sénac, M. Diaz．“Multimedia authoring with hierarchical timed stream Petri nets and Java”．Multimedia Tools and Applications． N°1-2, Janvier-Février 2002．Vol.16．
[6]HU Zhi-gang，CHEN Ren，CHEN Hua-quan.An Improved Grid Resource Scheduling Algorithm and its Modeling and Simulation with Colored Petri Net[J].小型微型计算机系统,2007,2.
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”
关键词：多媒体集成；Petri Net；HTSPN
中图分类号：TP37文献标识码：A文章编号：1009-3044(2007)12-21767-02
MultiMedia Integration Research and Implementation based on HTSPN Model
WANG You-wei
(Shandong Rural Credit Cooperative Union, Jinan 250001, China)
Abstract：How to make the information rendering carried by MultiMedia more accurately and alluringly, has been our goal, and many research efforts in the direction. This paper presents a Multimedia Integration methodology from HTSPN, with the design of Petri nets through multimedia resources associated, it can be showed as a integrated multimedia. We also carried the methodology to practice, the realization of the system based on HTSPN Multimedia Integration has been completed. Users can integrate multimedia conveniently and rapidly by the freely Petri Nets design. By these, the performance of multimedia has been enhanced, and we got a better enjoy.
Key words：MultiMedia integration;Petri Nets;HTSPN
1 引言
现代社会，多媒体技术使计算机功能实现了跃变，多媒体的集成是指同一个文件中把来自多个通道的信息统一获取、组织、存储和合成，使得文字、图像、声音等各种信息能同步地作用于我们的听觉、视觉等感官。如何更方便、更有效的对多媒体进行集成，以实现更好的信息展示的效果，这一直是许多研究致力的方向，相关的探索和研究如SMIL[1]多媒体文件生成、基于语义和Petri网的多媒体模型[2]等已取得了一定的进展和良好的效果。但目前的多媒体集成模型过于专业化，繁琐的语法和复杂的操作无法满足普通用户对多媒体集成的需求。
本文提出了一种基于HTSPN[3]模型的多媒体集成方法，并基于该方法实现了一个多媒体集成系统。
2 相关背景知识
2.1 Petri Net
Petri Net[4]由德国人Carl Adam Petri 在1962年提出，是对离散并行系统的数学表示，用于描述异步发生事件。Petri网模型是目前系统建模领域中被人们广泛采用的一种方法，它在描述离散事件动态系统方面具有较强的模型分析能力。
2.2 HTSPN
HTSPN（Interpreted-Hierarchical Time Stream Petri Net）：带解释信息的分级时间流Petri網，是基于Petri模型的一种扩展。
HTSPN = {T，P，C，t，R，M}；其中 T，P，C，t与基本Petri网定义相同；
R:P{r1, r2, ..., rk } 定义了由位置集向资源集 {r1, r2, ..., rk } 的映射；
M:P{m1, m2, ..., mk }定义了由位置集向资源集时间关系 {m1, m2, ..., mk }的映射。
3 关联模型的研究和系统框架的设计
3.1 关联模型的研究和设计
结合HTSPN模型的特点，在HTSPN与多媒体文件之间的映射是从三个方面完成建模的：
(1)概念结构－Petri属性映射模型：在Petri网设计时定义外部属性，规定集成后得到多媒体文件的播放属性，如发布者信息，播放窗口大小，背景风格、颜色等信息，我们定义此部分模型为HTSPN属性的扩展。
(2)播放时序－变迁映射模型：是将HTSPN中的变迁与多媒体播放时序进行映射。Petri流的触发性流程决定了构成多媒体的媒体文件进行更替时必须遵守一定的时序规则，按照流程既定时序进行。我们将播放过程中帧之间的更替与变迁进行映射，Place中持续时间完毕后触发变迁，跳入下一个库所，即进入下一帧中媒体资源的播放。
(3)媒体资源－库所映射模型[5]：是将HTSPN中的库所与用于多媒体集成的媒体资源进行映射。Petri流程中的一个库所元素，分别代表一个集成多媒体的资源。库所中赋予属性，为媒体资源定义媒体类型、媒体源路径、持续时间、播放窗口位置及大小等等。
3.2 系统框架的设计和实现
根据映射模型的定义，该系统框架由四个主要的部分进行实现：界面模块、文档模块、控制模块、解释模块。系统框架各模块之间的工作流程如下图1所示。
图1 各模块间工作流程
3.2.1 界面模块
该模块为用户提供媒体文件Petri建模的图形工具以及多媒体集成效果预览和播放的界面。
(1)多媒体文件Petri建模模块：用户通过操作，完成Petri流程的设计、库所和媒体源以及变迁与播放时序之间的映射等操作。界面如图3中所示；
(2)多媒体文件Petri建模模块：通过解释模块对设计好的多媒体文档的解析，系统允许用户在设计过程中对相关效果随时预览，设计完成后播放文件。效果如图4中所示。
3.2.2 文档模块
该模块是该系统和底层多媒体文件交互的接口，其主要功能有两个，首先是对用户设计的整个多媒体Petri流的存储，用于系统控制模块中对多媒体文档的建立；另一个功能是对用户定义的Petri流中数据信息以及显示信息等属性的存储。
3.2.3 控制模块
该模块是系统实现多媒体文档建模的主要部分，在本文第二节中提及的三个模型的建立都在此模块进行实现。
(1)媒体文档类：通过库所－媒体建模，按照界面模块中用户设置的库所媒体来源的属性将库所和相应的媒体文件关联，并赋予用户对该库所设置的其他属性；
(2)播放时序类：通过变迁－播放时序建模，按照用户设置的库所持续时间以及变迁触发条件，对变迁的触发和库所间的替换进行定义，实现Petri流程播放时序的定义；
(3)调度器：按照播放时序对媒体源进行调度，得到播放流程参数传递给解释模块以便进行显示； (4)逻辑控制类：按照Petri网的定义，设置一定规则，对用户进行Petri流程设计和建模时从逻辑上进行约束和限制，防止逻辑错误的发生。
图2 控制模块关系流程图
3.2.4 解析模块
在此模块中，系统按照用户定义的多媒体文档的属性，结合控制模块中播放时序类传递的参数，完成对多媒体文档的解析，并能在得到指令后向用户呈现。进行多媒体播放时采用的关键技术包括：
(1)TVI[5]控制器：采用多种同步控制机制控制多媒体文件播放的同步。
(2)变迁触发器：定期分析多媒体文件的HTSPN模型，确定某时刻需要触发的变迁，停止输入媒体文件的播放，开始输出媒体文件的播放。
(3)媒體资源预取模块：通过分析多媒体文件的Java I-HTSPN模型及相应算法，确定下一时间段将要触发的变迁，提前对相应媒体文件进行多线程数据传输，用相应的表示方式对媒体资源进行预取，有效增强了系统播放过程的实时性。
4 系统的实现
该系统采用Java语言实现，不仅支持本地媒体资源的获取，而且可以利用互连网络媒体资源。用户在通过系统界面完成Petri流设计之后，经过系统中相应模块的解析和显示，对集成的多媒体进行呈现。
图3是一个Petri流的设计，集成了三个变迁三帧的Petri流。图4为效果展示图，为拥有三个库所的第二帧效果截图。
图3 Petri流设计
图4 播放效果展示
5 展望和结语
随着多媒体技术的发展，人们对多媒体呈现效果的要求也会随之越来越高。功能强大，操作简便的多媒体制作系统将成为迫切需要实现的目标，这也是我们需要进一步探索和研究的方向。
参考文献：
[1]Wang Danling，The Application of Synchronized Multimedia Integration Language on CAI[J].电脑知识与技术：技术论坛,2005,10.
[2]Medina-Medina N., García-Cabrera L., Rodríguez-Fortiz M. J., Parets-Llorca J., Adaptation in an Evolutionary Hypermedia System: Using Semantic and Petri Nets. Adaptive Hypermedia and Adaptive Web-Based Systems: Second International Conference, 2002, 2347, Process of Petri Nets Extension.
[3]陈莘萌，许先斌，许卫平，张苓.Analysis and Comparision of Petri Net Based Model of Hypermedia[J].计算机工程与应用,2002,19.
[4]ZHAI Yi-feng, HOU Zhao-cheng.The Research on Workflow Process Modeling Based on Petri-nets[J].微电子学与计算机，2007.
[5]R. Willrich, P. de Saqui-Sannes, P. Sénac, M. Diaz．“Multimedia authoring with hierarchical timed stream Petri nets and Java”．Multimedia Tools and Applications． N°1-2, Janvier-Février 2002．Vol.16．
[6]HU Zhi-gang，CHEN Ren，CHEN Hua-quan.An Improved Grid Resource Scheduling Algorithm and its Modeling and Simulation with Colored Petri Net[J].小型微型计算机系统,2007,2.
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”