论文部分内容阅读
摘要：目前语料库构建是自然语言处理技术的基础工作。但是通过传统的鼠标键盘进行长期操作对标注人员身体带来了一定的负面影响。为了避免鼠标键盘操作的弊端，将Kinect人体动作和命名实体标注工作有机结合，研究实现了基于Kinect的命名实体标注工具。实验结果表明，该工具不仅改善了标注人员标注方式，提高了标注效率。
关键词：Kinect；标注；维吾尔语；语料库建设；命名实体关系
中图法分类号：TP391.1 文献标识码：A 文章编号：1009-3044（2018）13-0067-04
Research and Implementation of Named Entity Annotation Tool based on Kinect
Alimu KUERBAN1，Adila1，Turenisa MAIMAITIMING1，XIE Wen-qin1，Tuergen YIBULAYIN1，2，Kahaerjiang ABIDEREXITI1，2
（ 1.School of Information Science and Engineering Xinjiang University， Urumqi 830046， China； 2. Xinjiang Laboratory of Multi-Language Information Technology， Urumqi， Xinjiang 830046， China）
Abstract：At present， corpus construction is the basic work of natural language processing technology. However， long-term operation through the traditional mouse and keyboard has a certain negative impact on the annotators. In order to avoid the disadvantages of the mouse and keyboard operations， this paper organically combine the Kinect human motion and the named entity annotation work， and studied and implemented a named entity annotation tool based on Kinect. The experimental results show that the tool in this paper not only improved the annotation operation method of annotators， but also improved annotation efficiency.
Key words： Kinect； Annotation； Uyghur； Corpus Construction； Named Entity Relation
1 背景
语料库标注是一种枯燥无味、费力费时的工作，通常情况下标注者在计算机屏幕上通过鼠标或键盘操作进行标注。长期坐在计算机前面做比较规律性的动作将对标注者的眼睛，颈椎等部位带来严重的损害。维吾尔语命名实体关系标注工作是属于语料库标注工作的一种，是维吾尔语全监督和半监督命名实体关系抽取的基础工作。虽然英语、汉语等语言的命名实体关系抽取工作是基于半监督或无监督的方式，但对于资源稀缺的维吾尔语来说，需要一定规模的命名实体关系语料库才能实现半监督和全监督的工作模式。然而，标注工作是一项比较枯燥无味、费时费力的工作，长期坐在电脑前面进行鼠标键盘的操作也对人体带来一定的危害，这使得维吾尔语命名实体关系语料库标注工作进行得更加艰难。如果将Kinect设备的人体动作识别技术应用到维吾尔语命名实体关系标注的工作上，那么枯燥的标注工作可能将会变成轻松且具有一定娱乐和健身性质的工作，从而提高标注者的积极性以及标注效率。
该研究中我们使用了微软的Kinect体感器，它无需任何手持设备就能完成三维人机交互。我们定义了一套用于语料库标注的动作。通过捕捉用户的身体运动，完成骨骼跟踪和手势识别，这使得体感交互无需昂贵的硬件支撑也可以实现。我们也对传统标注方法和基于Kinect的标注方法做了对比实验，实验表明，通过这种方式进行命名实体和关系的标注，升级了传统的标注方法，提高了标注效率。该方法也提供了更健康的人机交互体验，减少了电脑帶来的负面影响，这使得标注工作变得更加健康有趣。
2 Kinect介绍
Kinect for Xbox 360，简称 Kinect，是由微软在2009年发布的体感外设，应用于Xbox 360 主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用手势或语音来操作Xbox360 的系统界面。2012年2月1日，微软发布了Kinect for Windows SDK软件开发工具包1.0正式版。在.NET Framework 4.0和Visual Studio 2010上可以用C#进行开发。
Kinect传感器是一个Xbox360外接的3D体感摄影机，共有三个摄像头，中间的镜头是RGB彩色摄像机，左右两边镜头分别为红外线发射器和红外线CMOS摄像机，支持同时实时的全身和骨骼跟踪。并搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect可以同时侦测3D影像、人体骨架追踪、音频处理。
Kinect通过彩色摄像头拍摄视频图像，深度（红外）摄像头来分析、创建人体或物体的深度图像。红外投影机投射近红外光谱，照射到粗糙物体或者穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点，进而能被红外摄像头读取。 Kinect最受人瞩目的一个功能是Light Coding， 通过侦测3D影像直接获取物体与摄像头之间的距离，技术理论是利用连续光对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生一张具有深度的图像。
利用Light Coding技术获得基本影像资料后，通过微软自行研发的机器学习技术骨架跟踪系统辨认影像，并转化为动作指令。
3 国内外研究现状
自从微软发布Kinect感应器以来，国内外对其技术和应用上的研究都取得了比较多且富有创造性的成果。开发者将其驱动破解并建立了OpenNI的软件框架，也先后出现了可获得较精准的人体关节点骨架序列的深度数据集[1]，从而Kinect在计算机方面的研究和应用获得了较大的影响力。微软也为深度感应器发布了官方的驱动程序和SDK，进一步推动了体感技术的开发及应用。
随着Kinect广泛研究，它被应用于医疗、教育、机器人视觉与控制以及电子商务等领域。刘小建等人[2]针对Kinect手势识别过程中手势不精确问题，提出了一种利用深度信息进行多特征提取的手势识别方法。
陳建军[3]将动态姿势识别方法与浏览器网页控制技术相结合实现了姿势控制浏览器网页的人机交互系统。陈兴[4]等人利用两台Kinect对先对人体进行数据采集，然后利用了ICP算法对人体点云进行配准以及人体三维模型。李诗锐等人[5]利用Kinect深度精度随距离变化呈线性变化以及在较大深度范围内具有较高的精度的特点，对物体进行实时、精确的重建。他们系统只利用单台Kinect，且适用于对各种物体的重建包括人体。张勤等人[6]针对学步期幼儿独立行走时不太信息采集困难者问题，提出了一种基于Kinect的学步期幼儿步态提取方法。他们通过Kinect直接获取人体的骨骼信息来采集不同幼儿独立行走的关节数据，大幅度减低了自然步态提取的难度，将数据采集变得更加方便。
张亚楠[7]通过Kinect视频捕捉以及人体匹配算法，分析入室者是否入侵者，实现了家庭防盗系统。罗娟[8]等人采用Kinect的双目视觉原理设计与实现了独居老人室内智能监控系统。
4 维吾尔语命名实体关系标注规范
文献中[9]，将实体看做为现实世界中的一个对象或者对象的集合。对维吾尔语中的命名实体分为五种：人物、组织机构、地理/社会/政治实体、地点、设施。实体在文本中的引用称为参照（Mention）。一个实体通过名称来引用的叫做命名实体（Named Entities），通过名词性词语来引用的叫做名词性实体（Nominal Entities），通过代词来引用的叫做代词实体（Pronoun Entities）。规范中仅规定了命名实体标注规范。因此我们也只考虑了命名实体的标注。在命名实体关系方面，规范中设计了5种关系大类分别为物理上位置关系、部分整体关系、人际社会关系、组织机构-隶属关系、普通-隶属关系。每一种关系大类还分为几个小类，比如：物理上位置关系的小类包括位于和附近。人际社会关系的小类包括商业关系、家庭关系、角色、其他。
5 实现方法
我们按照[10]的维吾尔语命名实体的定义、类型以及关系大类和小类等标注规范设计了如图1所示的类。
1）右手往后面上伸过顶骨的动作。
2）抬右脚昆仑以上的动作。
3）左手垂直伸腰椎后面的动作。
4）右手腕骨水平过左手肩胛骨的动作。
5）抬左脚昆仑以上的动作。
6）左手往后面上伸过顶骨的动作。
7）右手垂直伸腰椎后面的动作。
8）左手腕骨水平过右手肩胛骨的动作。
表3是介绍与主类相关的几个函数。设计这几个函数的目的是为了减少用户的工作量，因此设计了测试标注的函数Smart。
6 实验
为了观察使用本系统进行标注的效率，进行了下述实验。包括：手工标注和Kinect工具标注。该实验使用两种标注方式对随机选择的十个文档进行了标注，上图5是两种标注方式所花费时间的对比图。
按所花的时间（秒）比较手工标注和Kinect工具标注。手工标注方式依靠键盘和鼠标，通过手指和手臂不停地重复几种轻微的动作进行。Kinect标注方式通过体感方式依靠手和脚的相互配合在非直接接触键盘和鼠标的情况下进行。
很明显，从两种标注方式所花费的时间可以看出，传统的手工标注方式工作时间长，效率低；而通过Kinect工具标注，不仅时间短，效率高，而且用Kinect工具标注是在非直接接触电脑鼠标的情况下进行，所以减少了一定的辐射。
随机抽取了十个文档，对其分别进行手工标注和Kinect工具标注，图6的柱形图展示了标注动作重复次数的比较情况。手工标注方式依靠键盘和鼠标，通过手指和手臂不停地重复几种轻微的动作来完成标注工作，工作时间长，效率低，无法减少辐射对人体的伤害。而Kinect工具标注工作一直是活动的状态，减少了长时间坐在电脑前标注员工的压力，也减少了电脑给人带来的各种不良影响。
7 结 论
该研究主要将人体动作的各个节点作为被控对象，以微软的Kinect设备作为传感器来获取深度数据。通过骨骼跟踪技术和手势识别技术设计了维吾尔语命名实体关系的八种标注动作。这些动作包括对实体和实体间关系的标注。我们为了减轻用户的负担也为达到健身效果，尽量将动作设计的简单有效便于操作。将维吾尔语命名实体、关系标注和Kinect语言识别结合起来，当人体感到疲倦的时候可以使用语言来进行实体和关系的标注，实现自动标注功能。自动标注功能需要大量的语料基础，而语料库标注本身就是枯燥乏味的工作，更不理想的是会给标注者带了一系列的健康问题。而基于Kinect的维吾尔语命名实体和关系的标注工具依靠的是手指、手臂、腿部等身体各个部位大幅度的配合和摆动，使得枯燥的标注工作变得有趣，同时又在实际应用中为更多健康的应用提供了参照。
参考文献：
[1] 朱红蕾， 朱昶胜， 徐志刚. 人体行为识别数据集研究进展[J]. 自动化学报， 2018， 44（X）： 1-27.
[2] 刘小建， 张元. 基于多特征提取和svm分类的手势识别[J]. 计算机工程与设计， 2017（4）： 953-958.
[3] 陈建军. 基于kinect手势识别的网页控制软件设计[D]. 太原： 太原理工大学， 2015.
[4] 陈兴， 梁洁， 杜希瑞， 等. 采用两台kinect相机的三维人体数字化[J]. 电脑知识与技术， 2016（1）： 192-195.
[5] 李诗锐， 李琪， 李海洋， 等. 基于kinect V2的实时精确三维重建系统[J]. 软件学报， 2016， 27（10）： 2519-2529.
[6] 张勤， 李岳炀， 李贻斌， 等. 基于kinect的学步期幼儿自然步态提取[J]. 自动化学报， 2018， 44（X）： 1-11.
[7] 张亚楠. 基于kinect及android平台的家庭防盗系统[J]. 电脑知识与技术， 2015（22）： 57-58.
[8] 罗娟， 李志文， 李江， 等. 基于kinect平台的独居老人室内智能监控系统设计[J]， 电脑知识与技术， 2017（13）： 166-170.
[9] Abiderexiti K， Maimaiti M， Yibulayin T， et al. Annotation Schemes for Constructing Uyghur Named Entity Relation Corpus[C]. Proceedings of the The 20th International Conference on Asian Language Processing， 2016： 103-107.
关键词：Kinect；标注；维吾尔语；语料库建设；命名实体关系
中图法分类号：TP391.1 文献标识码：A 文章编号：1009-3044（2018）13-0067-04
Research and Implementation of Named Entity Annotation Tool based on Kinect
Alimu KUERBAN1，Adila1，Turenisa MAIMAITIMING1，XIE Wen-qin1，Tuergen YIBULAYIN1，2，Kahaerjiang ABIDEREXITI1，2
（ 1.School of Information Science and Engineering Xinjiang University， Urumqi 830046， China； 2. Xinjiang Laboratory of Multi-Language Information Technology， Urumqi， Xinjiang 830046， China）
Abstract：At present， corpus construction is the basic work of natural language processing technology. However， long-term operation through the traditional mouse and keyboard has a certain negative impact on the annotators. In order to avoid the disadvantages of the mouse and keyboard operations， this paper organically combine the Kinect human motion and the named entity annotation work， and studied and implemented a named entity annotation tool based on Kinect. The experimental results show that the tool in this paper not only improved the annotation operation method of annotators， but also improved annotation efficiency.
Key words： Kinect； Annotation； Uyghur； Corpus Construction； Named Entity Relation
1 背景
语料库标注是一种枯燥无味、费力费时的工作，通常情况下标注者在计算机屏幕上通过鼠标或键盘操作进行标注。长期坐在计算机前面做比较规律性的动作将对标注者的眼睛，颈椎等部位带来严重的损害。维吾尔语命名实体关系标注工作是属于语料库标注工作的一种，是维吾尔语全监督和半监督命名实体关系抽取的基础工作。虽然英语、汉语等语言的命名实体关系抽取工作是基于半监督或无监督的方式，但对于资源稀缺的维吾尔语来说，需要一定规模的命名实体关系语料库才能实现半监督和全监督的工作模式。然而，标注工作是一项比较枯燥无味、费时费力的工作，长期坐在电脑前面进行鼠标键盘的操作也对人体带来一定的危害，这使得维吾尔语命名实体关系语料库标注工作进行得更加艰难。如果将Kinect设备的人体动作识别技术应用到维吾尔语命名实体关系标注的工作上，那么枯燥的标注工作可能将会变成轻松且具有一定娱乐和健身性质的工作，从而提高标注者的积极性以及标注效率。
该研究中我们使用了微软的Kinect体感器，它无需任何手持设备就能完成三维人机交互。我们定义了一套用于语料库标注的动作。通过捕捉用户的身体运动，完成骨骼跟踪和手势识别，这使得体感交互无需昂贵的硬件支撑也可以实现。我们也对传统标注方法和基于Kinect的标注方法做了对比实验，实验表明，通过这种方式进行命名实体和关系的标注，升级了传统的标注方法，提高了标注效率。该方法也提供了更健康的人机交互体验，减少了电脑帶来的负面影响，这使得标注工作变得更加健康有趣。
2 Kinect介绍
Kinect for Xbox 360，简称 Kinect，是由微软在2009年发布的体感外设，应用于Xbox 360 主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用手势或语音来操作Xbox360 的系统界面。2012年2月1日，微软发布了Kinect for Windows SDK软件开发工具包1.0正式版。在.NET Framework 4.0和Visual Studio 2010上可以用C#进行开发。
Kinect传感器是一个Xbox360外接的3D体感摄影机，共有三个摄像头，中间的镜头是RGB彩色摄像机，左右两边镜头分别为红外线发射器和红外线CMOS摄像机，支持同时实时的全身和骨骼跟踪。并搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect可以同时侦测3D影像、人体骨架追踪、音频处理。
Kinect通过彩色摄像头拍摄视频图像，深度（红外）摄像头来分析、创建人体或物体的深度图像。红外投影机投射近红外光谱，照射到粗糙物体或者穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点，进而能被红外摄像头读取。 Kinect最受人瞩目的一个功能是Light Coding， 通过侦测3D影像直接获取物体与摄像头之间的距离，技术理论是利用连续光对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生一张具有深度的图像。
利用Light Coding技术获得基本影像资料后，通过微软自行研发的机器学习技术骨架跟踪系统辨认影像，并转化为动作指令。
3 国内外研究现状
自从微软发布Kinect感应器以来，国内外对其技术和应用上的研究都取得了比较多且富有创造性的成果。开发者将其驱动破解并建立了OpenNI的软件框架，也先后出现了可获得较精准的人体关节点骨架序列的深度数据集[1]，从而Kinect在计算机方面的研究和应用获得了较大的影响力。微软也为深度感应器发布了官方的驱动程序和SDK，进一步推动了体感技术的开发及应用。
随着Kinect广泛研究，它被应用于医疗、教育、机器人视觉与控制以及电子商务等领域。刘小建等人[2]针对Kinect手势识别过程中手势不精确问题，提出了一种利用深度信息进行多特征提取的手势识别方法。
陳建军[3]将动态姿势识别方法与浏览器网页控制技术相结合实现了姿势控制浏览器网页的人机交互系统。陈兴[4]等人利用两台Kinect对先对人体进行数据采集，然后利用了ICP算法对人体点云进行配准以及人体三维模型。李诗锐等人[5]利用Kinect深度精度随距离变化呈线性变化以及在较大深度范围内具有较高的精度的特点，对物体进行实时、精确的重建。他们系统只利用单台Kinect，且适用于对各种物体的重建包括人体。张勤等人[6]针对学步期幼儿独立行走时不太信息采集困难者问题，提出了一种基于Kinect的学步期幼儿步态提取方法。他们通过Kinect直接获取人体的骨骼信息来采集不同幼儿独立行走的关节数据，大幅度减低了自然步态提取的难度，将数据采集变得更加方便。
张亚楠[7]通过Kinect视频捕捉以及人体匹配算法，分析入室者是否入侵者，实现了家庭防盗系统。罗娟[8]等人采用Kinect的双目视觉原理设计与实现了独居老人室内智能监控系统。
4 维吾尔语命名实体关系标注规范
文献中[9]，将实体看做为现实世界中的一个对象或者对象的集合。对维吾尔语中的命名实体分为五种：人物、组织机构、地理/社会/政治实体、地点、设施。实体在文本中的引用称为参照（Mention）。一个实体通过名称来引用的叫做命名实体（Named Entities），通过名词性词语来引用的叫做名词性实体（Nominal Entities），通过代词来引用的叫做代词实体（Pronoun Entities）。规范中仅规定了命名实体标注规范。因此我们也只考虑了命名实体的标注。在命名实体关系方面，规范中设计了5种关系大类分别为物理上位置关系、部分整体关系、人际社会关系、组织机构-隶属关系、普通-隶属关系。每一种关系大类还分为几个小类，比如：物理上位置关系的小类包括位于和附近。人际社会关系的小类包括商业关系、家庭关系、角色、其他。
5 实现方法
我们按照[10]的维吾尔语命名实体的定义、类型以及关系大类和小类等标注规范设计了如图1所示的类。
1）右手往后面上伸过顶骨的动作。
2）抬右脚昆仑以上的动作。
3）左手垂直伸腰椎后面的动作。
4）右手腕骨水平过左手肩胛骨的动作。
5）抬左脚昆仑以上的动作。
6）左手往后面上伸过顶骨的动作。
7）右手垂直伸腰椎后面的动作。
8）左手腕骨水平过右手肩胛骨的动作。
表3是介绍与主类相关的几个函数。设计这几个函数的目的是为了减少用户的工作量，因此设计了测试标注的函数Smart。
6 实验
为了观察使用本系统进行标注的效率，进行了下述实验。包括：手工标注和Kinect工具标注。该实验使用两种标注方式对随机选择的十个文档进行了标注，上图5是两种标注方式所花费时间的对比图。
按所花的时间（秒）比较手工标注和Kinect工具标注。手工标注方式依靠键盘和鼠标，通过手指和手臂不停地重复几种轻微的动作进行。Kinect标注方式通过体感方式依靠手和脚的相互配合在非直接接触键盘和鼠标的情况下进行。
很明显，从两种标注方式所花费的时间可以看出，传统的手工标注方式工作时间长，效率低；而通过Kinect工具标注，不仅时间短，效率高，而且用Kinect工具标注是在非直接接触电脑鼠标的情况下进行，所以减少了一定的辐射。
随机抽取了十个文档，对其分别进行手工标注和Kinect工具标注，图6的柱形图展示了标注动作重复次数的比较情况。手工标注方式依靠键盘和鼠标，通过手指和手臂不停地重复几种轻微的动作来完成标注工作，工作时间长，效率低，无法减少辐射对人体的伤害。而Kinect工具标注工作一直是活动的状态，减少了长时间坐在电脑前标注员工的压力，也减少了电脑给人带来的各种不良影响。
7 结 论
该研究主要将人体动作的各个节点作为被控对象，以微软的Kinect设备作为传感器来获取深度数据。通过骨骼跟踪技术和手势识别技术设计了维吾尔语命名实体关系的八种标注动作。这些动作包括对实体和实体间关系的标注。我们为了减轻用户的负担也为达到健身效果，尽量将动作设计的简单有效便于操作。将维吾尔语命名实体、关系标注和Kinect语言识别结合起来，当人体感到疲倦的时候可以使用语言来进行实体和关系的标注，实现自动标注功能。自动标注功能需要大量的语料基础，而语料库标注本身就是枯燥乏味的工作，更不理想的是会给标注者带了一系列的健康问题。而基于Kinect的维吾尔语命名实体和关系的标注工具依靠的是手指、手臂、腿部等身体各个部位大幅度的配合和摆动，使得枯燥的标注工作变得有趣，同时又在实际应用中为更多健康的应用提供了参照。
参考文献：
[1] 朱红蕾， 朱昶胜， 徐志刚. 人体行为识别数据集研究进展[J]. 自动化学报， 2018， 44（X）： 1-27.
[2] 刘小建， 张元. 基于多特征提取和svm分类的手势识别[J]. 计算机工程与设计， 2017（4）： 953-958.
[3] 陈建军. 基于kinect手势识别的网页控制软件设计[D]. 太原： 太原理工大学， 2015.
[4] 陈兴， 梁洁， 杜希瑞， 等. 采用两台kinect相机的三维人体数字化[J]. 电脑知识与技术， 2016（1）： 192-195.
[5] 李诗锐， 李琪， 李海洋， 等. 基于kinect V2的实时精确三维重建系统[J]. 软件学报， 2016， 27（10）： 2519-2529.
[6] 张勤， 李岳炀， 李贻斌， 等. 基于kinect的学步期幼儿自然步态提取[J]. 自动化学报， 2018， 44（X）： 1-11.
[7] 张亚楠. 基于kinect及android平台的家庭防盗系统[J]. 电脑知识与技术， 2015（22）： 57-58.
[8] 罗娟， 李志文， 李江， 等. 基于kinect平台的独居老人室内智能监控系统设计[J]， 电脑知识与技术， 2017（13）： 166-170.
[9] Abiderexiti K， Maimaiti M， Yibulayin T， et al. Annotation Schemes for Constructing Uyghur Named Entity Relation Corpus[C]. Proceedings of the The 20th International Conference on Asian Language Processing， 2016： 103-107.