论文部分内容阅读
摘要：目前移动互联网的使用人数已超过桌面互联网，移动智能终端在计算性能上快速发展，且持续增长，通过视觉搜索技术与移动智能终端的有效结合，人们可以快速便捷地采集现实世界的视觉对象，从移动互联网另一端获取感兴趣的关联信息。目前对于视频中兴趣点的跟踪已经有较广泛研究，本文提出使用特征片的匹配来进行有效的帧间传播。
关键词：增强现实 移动视觉搜索 特征片匹配
引言
通过摄像头、GPS和重力感应器等智能终端携带的传感器，使用移动终端及运行其上的强大应用，人们可以在现实世界与信息世界之间建立关联，从而快速获取全方位的多媒体信息服务。移动视觉搜索技术将成为支撑未来移动互联网应用的基础技术之一，通过移动智能终端与视觉搜索技术的有效结合，人们可以便捷地采集现实世界的视觉对象，从移动互联网的另一端获取自己所需的关联信息。
1 研究现状
基于视频流的移动增强现实应用需要实时的对感兴趣对象进行识别和跟踪，大多数应用都需要鲁棒的局部图像特征，在大部分移动应用中，描述子和相关数据需要通过无线网络传输到服务器进行处理。在保证服务质量的情况下，特征描述数据越少越好，对SIFT等描述子的压缩和CDVS（紧凑视觉描述子）标准化的工作也取得了不少进展，一些压缩技术提出方案并在一般评估框架下进行比较。有些技术是将兴趣点对应的归一化后的特征片直接传输到服务端，在服务端进行计算。在当前所有基于视频流的移动增强现实应用中，每一视频帧的兴趣点都是独立的检测、独立的对特征描述子进行编码，并没有考虑帧间的时间冗余。通过本项目的研究，设计出时间关联的特征检测、描述及编码方法，从而达到特征描述子的高效压缩。
2 研究内容
本文将視频帧分类为检测帧和前向传播帧。在检测帧中，使用传统的兴趣点检测算法进行检测，本文研究使用SIFT检测子，同时将与兴趣点对应的片称为检测片。在前向传播帧中，对特征片进行匹配，每个片与前向帧中的一个片相关联，这些片称为前向传播片。对于前向帧中的每个片，在当前帧中查找失真度量最小的对应片。本文使用绝对差值和（SAD）进行失真度量。接着使用相应算法来查找失真最小的片。前向帧中的每个片具有一定的位置、尺度和方向，前向帧中从片的位置开始定义一个查找范围，在当前帧查找最相关的片。固定方向和尺度，在查找位置开始通过小的步长来变化x和y坐标，直到覆盖整个搜索范围。对于每个x和y，在当前帧中提取对应的特征片，与前向帧中对应的片进行SAD度量，值最小的就是对应的前向传播片，该片继承检测片的方向和尺度进行匹配。
3 研究方案
利用提取的前向传播片中所计算的特征描述子，来研究之间的时间关联性。实验可以选取SIFT描述子进行图像匹配和检索，也可以选择一些文献中改进的SIFT描述子，进行直方图的点阵编码。每个直方图可以表示为m维空间的一个概率点，m表示直方图的区间数，比如在SIFT中m=8。在点阵编码中，概率空间定义一个Am?1点阵，量化每个直方图到最近的点。点阵所有点数K依赖于直方图的区间数m和点阵量化参数n，如图1所示，并通过多级系数给出：
对于熵编码，枚举所有可能的阵点并使用算术编码器对每个SIFT描述子空间区间中梯度直方图对应的阵点索引进行信号化，图1描述了对于m = 3 和 n = 1， 2， 3情况下点阵编码思想。为了研究SIFT描述子之间的时间关联性，考虑DPCM类型的描述符差分编码。
检测帧中的阵点使用独立的点阵编码器编码，思想如图2（a）所示。检测帧中的SIFT描述子使用独立的点阵编码器，此处使用DPCM对前向传播帧中的描述子进行编码。在图2（b）中对于基于DPCM的描述子帧间预测编码进行了描述，去除了从前向帧中解码SIFT描述子的步骤。从当前帧的原始描述子中减去前向帧的解码描述子来获取描述子的残差。由于大范围的残差数据，对于更大的m和n，要以足够的准确率设计一个点阵量化器和枚举所有阵点是不实际的，因此使用一个标量量化器，量化步长可以是32， 64， 128 和 256。下一步是量化残差的熵编码，观察发现当步长较大的时候量化残差有大量连续的0，对于非0值也在一个很小的浮动范围内。此处设计一个游程熵编码器，扫描整帧的量化残差到一个连续的符号系列，由于还要按照兴趣点位置编码，描述子按照顺序进行扫描。
4 结语
本文针对不同规模的训练数据集对应不同性能的手机，来设计不同的点阵编码技术，同时进一步实现帧间预测编码，实现基于DPCM的帧间预测编码;与传统方法比较，在保证质量的情况下，整体压缩率可以提高30%-40%。
参考文献
[1] 周世明，贺彤.移动增强现实技术在展馆中的应用研究[J].技术与市场.2021，28（04）.
[2] 鲁文娟.移动增强现实在开放大学教育教学中的应用探索研究[J].中国教育信息化，2019（22）.
[3] 熊垒，付祥，熊璐.基于移动增强现实的化学实验辅助应用[J].电脑知识与技术.2019，15（27）.
[4] 齐恒.基于深度哈希学习算法的移动视觉检索系统设计与实现[D].北京邮电大学.2018年.
[5] 段凌宇，黄铁军，高文.移动视觉搜索技术研究与标准化进展[J].信息通信技术.2012年6月.
浙江万里学院大数据与软件工程学院 姜徐辉 邱笑天 邹运兰
关键词：增强现实 移动视觉搜索 特征片匹配
引言
通过摄像头、GPS和重力感应器等智能终端携带的传感器，使用移动终端及运行其上的强大应用，人们可以在现实世界与信息世界之间建立关联，从而快速获取全方位的多媒体信息服务。移动视觉搜索技术将成为支撑未来移动互联网应用的基础技术之一，通过移动智能终端与视觉搜索技术的有效结合，人们可以便捷地采集现实世界的视觉对象，从移动互联网的另一端获取自己所需的关联信息。
1 研究现状
基于视频流的移动增强现实应用需要实时的对感兴趣对象进行识别和跟踪，大多数应用都需要鲁棒的局部图像特征，在大部分移动应用中，描述子和相关数据需要通过无线网络传输到服务器进行处理。在保证服务质量的情况下，特征描述数据越少越好，对SIFT等描述子的压缩和CDVS（紧凑视觉描述子）标准化的工作也取得了不少进展，一些压缩技术提出方案并在一般评估框架下进行比较。有些技术是将兴趣点对应的归一化后的特征片直接传输到服务端，在服务端进行计算。在当前所有基于视频流的移动增强现实应用中，每一视频帧的兴趣点都是独立的检测、独立的对特征描述子进行编码，并没有考虑帧间的时间冗余。通过本项目的研究，设计出时间关联的特征检测、描述及编码方法，从而达到特征描述子的高效压缩。
2 研究内容
本文将視频帧分类为检测帧和前向传播帧。在检测帧中，使用传统的兴趣点检测算法进行检测，本文研究使用SIFT检测子，同时将与兴趣点对应的片称为检测片。在前向传播帧中，对特征片进行匹配，每个片与前向帧中的一个片相关联，这些片称为前向传播片。对于前向帧中的每个片，在当前帧中查找失真度量最小的对应片。本文使用绝对差值和（SAD）进行失真度量。接着使用相应算法来查找失真最小的片。前向帧中的每个片具有一定的位置、尺度和方向，前向帧中从片的位置开始定义一个查找范围，在当前帧查找最相关的片。固定方向和尺度，在查找位置开始通过小的步长来变化x和y坐标，直到覆盖整个搜索范围。对于每个x和y，在当前帧中提取对应的特征片，与前向帧中对应的片进行SAD度量，值最小的就是对应的前向传播片，该片继承检测片的方向和尺度进行匹配。
3 研究方案
利用提取的前向传播片中所计算的特征描述子，来研究之间的时间关联性。实验可以选取SIFT描述子进行图像匹配和检索，也可以选择一些文献中改进的SIFT描述子，进行直方图的点阵编码。每个直方图可以表示为m维空间的一个概率点，m表示直方图的区间数，比如在SIFT中m=8。在点阵编码中，概率空间定义一个Am?1点阵，量化每个直方图到最近的点。点阵所有点数K依赖于直方图的区间数m和点阵量化参数n，如图1所示，并通过多级系数给出：
对于熵编码，枚举所有可能的阵点并使用算术编码器对每个SIFT描述子空间区间中梯度直方图对应的阵点索引进行信号化，图1描述了对于m = 3 和 n = 1， 2， 3情况下点阵编码思想。为了研究SIFT描述子之间的时间关联性，考虑DPCM类型的描述符差分编码。
检测帧中的阵点使用独立的点阵编码器编码，思想如图2（a）所示。检测帧中的SIFT描述子使用独立的点阵编码器，此处使用DPCM对前向传播帧中的描述子进行编码。在图2（b）中对于基于DPCM的描述子帧间预测编码进行了描述，去除了从前向帧中解码SIFT描述子的步骤。从当前帧的原始描述子中减去前向帧的解码描述子来获取描述子的残差。由于大范围的残差数据，对于更大的m和n，要以足够的准确率设计一个点阵量化器和枚举所有阵点是不实际的，因此使用一个标量量化器，量化步长可以是32， 64， 128 和 256。下一步是量化残差的熵编码，观察发现当步长较大的时候量化残差有大量连续的0，对于非0值也在一个很小的浮动范围内。此处设计一个游程熵编码器，扫描整帧的量化残差到一个连续的符号系列，由于还要按照兴趣点位置编码，描述子按照顺序进行扫描。
4 结语
本文针对不同规模的训练数据集对应不同性能的手机，来设计不同的点阵编码技术，同时进一步实现帧间预测编码，实现基于DPCM的帧间预测编码;与传统方法比较，在保证质量的情况下，整体压缩率可以提高30%-40%。
参考文献
[1] 周世明，贺彤.移动增强现实技术在展馆中的应用研究[J].技术与市场.2021，28（04）.
[2] 鲁文娟.移动增强现实在开放大学教育教学中的应用探索研究[J].中国教育信息化，2019（22）.
[3] 熊垒，付祥，熊璐.基于移动增强现实的化学实验辅助应用[J].电脑知识与技术.2019，15（27）.
[4] 齐恒.基于深度哈希学习算法的移动视觉检索系统设计与实现[D].北京邮电大学.2018年.
[5] 段凌宇，黄铁军，高文.移动视觉搜索技术研究与标准化进展[J].信息通信技术.2012年6月.
浙江万里学院大数据与软件工程学院 姜徐辉 邱笑天 邹运兰