深度学习这个新的领域自从2006年被提出,到LeCun成功利用卷积神经网络(Convolutional Neural Network,CNN)识别手写数字,再到AlexNet成功对图片进行分类,已经经过了?几年的时间。任务也从最简单的图片分类、时间序列分析延伸到了空间分割、生成对抗网络等复杂的任务。和它的本源机器学习类似,深度学习也分为监督学习和非监督学习。得益于大数据的发展,监督学习仍然是更重要的方式。对于大部分的问题,我们都能够找到大量标定完毕的数据。在二维图像的分类(Classification)检测(Detection)技术越来越成熟的情况下,很多学者都将目光转移到了三维物体的任务上来。三维图形分类、语义分割的任务一直是一个挑战。分类任务是在给予一个物品的三维信息(rgb-d图像,点云,体素或者是网格)的情况下,得到物品的类别。而语义分割则更加困难,它是在得到一个具体场景(目前大多是室内)的情况下,对这个场景的每一个元素(像素点,点云点)进行相关分类。目前来看,三维图形分类分割的研究是这个子领域的基石,为下一步的实例分割(Instance Segmentation)奠定了基础。虽然这个领域逐渐热门,但是仍然有很多的问题没有解决。目前主流的数据集(S3DIS、SUNRGBD、ScanNet)虽然已经初具规模,但是对比二维图像识别的数据集(ImageNet、MSCOCO),仍然属于小规模数据集。不仅如此,仅仅只是将二维上的主流解决方式进行迁移,仍然会有很多问题(计算速度慢、存储消耗大)。在本文中,我们提出了一种名为PointSIFT的框架,这个框架可以加载于任意其他框架之间,属于点到点的数据提取方式。这个灵感来自于之前非常成功的SIFT算子,我们希望通过一种中间处理的框架来提升现有的三维点云网络的性能,并且这种处理方式是简单有效的。最后,我们提供了这个框架在主流数据集上的结果,通过与其他方式进行对比验证,说明了我们这种方法的优势,并且也证明了这种框架的灵活性。