论文部分内容阅读
摘要：为了满足人们对家居系统客户终端个性化智能化的需求，提出了360°全景漫游的交互界面，及对其中的家居可控点状态的自动识别。全景漫游技术根据surf算法在图像尺度空间提取特征点，通过图像拼接，生成场景在不同视线方向上的透视视图；以窗帘为例，利用灰度共生矩阵提取可控点纹理特征值，根据支持向量机进行分类。实验表明，surf算法具有良好地鲁棒性及高效的配准速度，同时基于纹理特征的模式识别，能较准确地区分图像中的可控点状态。
关键词：智能家居；全景界面；识别
一、智能家居系统的概述
智能家居（Smart Home），又称家庭自动化（Home Automation），是以住宅为平台，采用安全防范技术、虚拟网信息交互技术、综合布线技术、音视频技术，涉及信息家电、设备自动化、建筑、虚拟网信息交互等多领域，集系统、结构、服务、管理为一体的高效、舒适、安全、便利、环保的居住环境。一方面系统智能化程度的提高大大降低了居住者管理及控制家居工作量，另一方面随着控制对象的增多，界面上满目的按钮和图标却违背家居智能化和让生活变简单的初衷。人机交互界面的友好化、智能化和操作的便利性显得尤为重要。智能家居人机交互界面随着电脑技术的飞速发展已经经历了4 个阶段。
最早的命令行界面可以看成第一代智能家居人机界面。当时人被看成操作员，机器只能作出被动的反应，人只能使用手一种交互通道通过键盘输入信息，界面输入只能为静态单一字符，因此，这种人机界面交互的自然性和效率都很差。
紧接着的以窗口、图标、菜单和指点装置为基础的人机交互界面可以看作第二代智能家居人机界面，如在WIMP界面中，基于图形方式的界面，输出静态/动态二位图形/图像及其他多媒体信息。
近期的多通道人机界面是基于视线跟踪，语音识别，手势输入、感觉反馈等新的交互技术，用户可以使用自然的交互方式，如语音、手势、眼神、表情等与电脑系统进行协同工作，利用感知能力在 3D模型的虚拟现实家居系统中漫游，如MMI可以看作是第 3 代人机界面。
随着人们的不断创新，以求推出最容易和掌握的控制界面，基于自适应模式识别的360°全景图像与第三代人机界面的融合，可以看作是第4代人机界面，目前用于触摸屏设备的swipe技术正式采用了以实景为背景的界面已给用户带来全新的环境控制体验。在基于系统界面“皮肤”是室内的360°全景实景照片的基础上，采用针对图像中可控点如灯、门、窗帘状态的自动智能识别技术，满足客户对“所见即所得”人机界面的要求。
二、全景界面的概述
2.1全景图（Panorama）。指正常情况下人们双眼能看到的有效视角范围，得到的可以到达 360度完整场景范围的图片，它可以帮助人们在某个视点上看到任意视角的图像。对于普通图像而言，它只能反映人们在某一固定视点上某一个视角的图像，却不能把一个视点前后左右的场景完全呈现在观察者的眼前。根据投影方式的不同，我们可以将投影模型分为：球面投影、立方体投影和柱面投影。
2.2全景图的生成。目前全景图实现方法有多种，可以使用鱼眼镜头、数码相机、摄影三脚架等设备对图像进行拍摄，其中一些特殊的外部设备如头盔显示器、立体眼镜等，价格昂贵，不适合该系统的市场化需求。本文采用普通的数码相机在三脚架的固定视点上，沿水平方向旋转一周得到一组在边界上具有一定重叠区的连续图像序列，在拍摄过程中做到尽量防止镜头的偏斜和俯仰。全景图的生成主要包含三个步骤：（1）对局部图像进行柱面投影；（2）根据基于 SURF算法的图像拼接技术对两幅具有重叠部分的投影图像进行匹配和无缝拼接；（3）把局部的柱面投影图像映射到平面图像。可以说，其过程是通过这些图像的无缝拼接，实现柱面图与平面图的一一映射，最后确立对应的坐标关系。
三、可控点自动识别
在全景漫游的人机交互界面中，利用图像处理技术对可控点如窗帘、灯、门等设备进行识别，本文以窗帘为例进行分析。据常识可知窗帘关时，窗户部分应该是透明玻璃或者空气（即什么都没有），两者的纹理是一样的，都是一个常数图片；窗帘关时，窗户部分应该是窗帘，从而我们可以以玻璃与窗帘的纹理特征为依据进行分类。
3.1纹理特征分析
3.1.1灰度共生矩阵的定义。一般地，灰度被视为相邻像元或相邻小区域上包括几何位置等相互关系的表征，由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法，以条件概率抽取纹理的特征，统计处于同样位置关系的一对像元的灰度相关性，并用这一对像元的某种灰度的条件概率来表示纹理。
3.1.2窗户部分纹理特征提取。采集窗帘开、关状态的图像，首先经过
预处理，根据ostu最大类间方差的自适应算法得到最优分割阈值，进行图像分割，避免其他杂物的干扰。利用形态学中的腐蚀膨胀平滑较大物体边界，对图像进行细化，提取最大连通域部分即为窗户部分。取窗帘开时玻璃或窗帘关时窗帘的一部分，进行纹理特征分析。
3.2支持向量机的图像识别
支持向量机（SVM）是建立在统计学习理论的VC维理论和结构风险最小的原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，本文中就是利用支持向量机来完成分类的。训练之前首先将特征数据映射到0～1范围内，以防大量的大數据计算问题。选择窗帘开、关图像各100张作为样本来训练SVM，另取50张作为测试样本，正确率达到98%。
结语：
智能家居系统。同样地可以对系统中其他家居如灯的开关状态，门的开关状态等进行自动图像识别，从而形成一个家居人机界面可控点的智能识别系统。该系统可以避免人力资源的消耗，适应于不同类人群的需求，同时基于真实图像拼接的全景图的界面，增加了用户的真实现场感和交互感受，这是未来虚拟控制界面发展的一种趋势。
参考文献：
[1]尹瑞. Web三维可视化技术在物联智能家居中的应用[D].北京邮电大学，2017.
关键词：智能家居；全景界面；识别
一、智能家居系统的概述
智能家居（Smart Home），又称家庭自动化（Home Automation），是以住宅为平台，采用安全防范技术、虚拟网信息交互技术、综合布线技术、音视频技术，涉及信息家电、设备自动化、建筑、虚拟网信息交互等多领域，集系统、结构、服务、管理为一体的高效、舒适、安全、便利、环保的居住环境。一方面系统智能化程度的提高大大降低了居住者管理及控制家居工作量，另一方面随着控制对象的增多，界面上满目的按钮和图标却违背家居智能化和让生活变简单的初衷。人机交互界面的友好化、智能化和操作的便利性显得尤为重要。智能家居人机交互界面随着电脑技术的飞速发展已经经历了4 个阶段。
最早的命令行界面可以看成第一代智能家居人机界面。当时人被看成操作员，机器只能作出被动的反应，人只能使用手一种交互通道通过键盘输入信息，界面输入只能为静态单一字符，因此，这种人机界面交互的自然性和效率都很差。
紧接着的以窗口、图标、菜单和指点装置为基础的人机交互界面可以看作第二代智能家居人机界面，如在WIMP界面中，基于图形方式的界面，输出静态/动态二位图形/图像及其他多媒体信息。
近期的多通道人机界面是基于视线跟踪，语音识别，手势输入、感觉反馈等新的交互技术，用户可以使用自然的交互方式，如语音、手势、眼神、表情等与电脑系统进行协同工作，利用感知能力在 3D模型的虚拟现实家居系统中漫游，如MMI可以看作是第 3 代人机界面。
随着人们的不断创新，以求推出最容易和掌握的控制界面，基于自适应模式识别的360°全景图像与第三代人机界面的融合，可以看作是第4代人机界面，目前用于触摸屏设备的swipe技术正式采用了以实景为背景的界面已给用户带来全新的环境控制体验。在基于系统界面“皮肤”是室内的360°全景实景照片的基础上，采用针对图像中可控点如灯、门、窗帘状态的自动智能识别技术，满足客户对“所见即所得”人机界面的要求。
二、全景界面的概述
2.1全景图（Panorama）。指正常情况下人们双眼能看到的有效视角范围，得到的可以到达 360度完整场景范围的图片，它可以帮助人们在某个视点上看到任意视角的图像。对于普通图像而言，它只能反映人们在某一固定视点上某一个视角的图像，却不能把一个视点前后左右的场景完全呈现在观察者的眼前。根据投影方式的不同，我们可以将投影模型分为：球面投影、立方体投影和柱面投影。
2.2全景图的生成。目前全景图实现方法有多种，可以使用鱼眼镜头、数码相机、摄影三脚架等设备对图像进行拍摄，其中一些特殊的外部设备如头盔显示器、立体眼镜等，价格昂贵，不适合该系统的市场化需求。本文采用普通的数码相机在三脚架的固定视点上，沿水平方向旋转一周得到一组在边界上具有一定重叠区的连续图像序列，在拍摄过程中做到尽量防止镜头的偏斜和俯仰。全景图的生成主要包含三个步骤：（1）对局部图像进行柱面投影；（2）根据基于 SURF算法的图像拼接技术对两幅具有重叠部分的投影图像进行匹配和无缝拼接；（3）把局部的柱面投影图像映射到平面图像。可以说，其过程是通过这些图像的无缝拼接，实现柱面图与平面图的一一映射，最后确立对应的坐标关系。
三、可控点自动识别
在全景漫游的人机交互界面中，利用图像处理技术对可控点如窗帘、灯、门等设备进行识别，本文以窗帘为例进行分析。据常识可知窗帘关时，窗户部分应该是透明玻璃或者空气（即什么都没有），两者的纹理是一样的，都是一个常数图片；窗帘关时，窗户部分应该是窗帘，从而我们可以以玻璃与窗帘的纹理特征为依据进行分类。
3.1纹理特征分析
3.1.1灰度共生矩阵的定义。一般地，灰度被视为相邻像元或相邻小区域上包括几何位置等相互关系的表征，由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法，以条件概率抽取纹理的特征，统计处于同样位置关系的一对像元的灰度相关性，并用这一对像元的某种灰度的条件概率来表示纹理。
3.1.2窗户部分纹理特征提取。采集窗帘开、关状态的图像，首先经过
预处理，根据ostu最大类间方差的自适应算法得到最优分割阈值，进行图像分割，避免其他杂物的干扰。利用形态学中的腐蚀膨胀平滑较大物体边界，对图像进行细化，提取最大连通域部分即为窗户部分。取窗帘开时玻璃或窗帘关时窗帘的一部分，进行纹理特征分析。
3.2支持向量机的图像识别
支持向量机（SVM）是建立在统计学习理论的VC维理论和结构风险最小的原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，本文中就是利用支持向量机来完成分类的。训练之前首先将特征数据映射到0～1范围内，以防大量的大數据计算问题。选择窗帘开、关图像各100张作为样本来训练SVM，另取50张作为测试样本，正确率达到98%。
结语：
智能家居系统。同样地可以对系统中其他家居如灯的开关状态，门的开关状态等进行自动图像识别，从而形成一个家居人机界面可控点的智能识别系统。该系统可以避免人力资源的消耗，适应于不同类人群的需求，同时基于真实图像拼接的全景图的界面，增加了用户的真实现场感和交互感受，这是未来虚拟控制界面发展的一种趋势。
参考文献：
[1]尹瑞. Web三维可视化技术在物联智能家居中的应用[D].北京邮电大学，2017.