随着物联网（Internet of Things,IoT）设备的迅速增加,保证IoT系统的通信安全变得十分重要。大多数IoT设备计算资源紧张且功耗较低,从而无法有效地利用传统的基于密码学的复杂安全协议来进行设备身份认证。而传统的设备身份标识,例如IP或MAC地址等很容易被恶意篡改,这导致了严重的安全隐患。同时,当前为解决无线设备身份识别问题而提出的基于专家特征的传统射频（Radio Frequency,RF）指纹识别方案在面对认知无线电（Cognitive Radio,CR）等新型技术时也存在着开发成本高昂、可用性降低等问题。针对以上问题,本文提出了一种基于卷积神经网络（Convolutional Neural Networks,CNN）的RF指纹识别方案来对无线设备的RF指纹进行识别,并以该CNN架构为核心提出了一个未来可运用于现实世界中的RF指纹识别系统。由于固有的物理层特征难以伪造,而该系统利用无线信号物理波形的独特特征来识别设备,因此在保护无线网络安全方面很有前途。同时,本文同步提出了一个RF指纹匿名化方案,用以防止攻击者利用该系统从而造成设备使用者的身份和位置等隐私信息泄露。本文的主要研究内容和贡献如下:第一,本文通过实验验证了基于CNN的自动调制识别方案虽然有助于CR技术的发展,但也会间接地使传统RF指纹识别方案的可用性下降,因此一个基于自动特征提取的RF指纹识别方案对未来IoT的发展十分重要。本文提出了一种基于CNN的RF指纹识别方案以增强IoT系统的通信安全。该方案采用了一种改进的CNN分类器,其能够以自动特征提取的方式替代传统方案中的手工特征提取步骤,并对环境中设备的RF指纹信息进行识别。该方案能够提高IoT设备的身份认证安全性,在拥有5类设备的真实数据集上对该方案进行测试,其识别准确率约为99.3%,实验结果显示该方案拥有在现实环境中部署的前景。第二,虽然机器学习技术可以通过学习设备中独特的射频损伤来识别环境中的无线设备,但这同时会导致环境中的设备和用户位置等隐私信息泄露的问题。因此本文提出了一种新的物理层RF指纹匿名化算法,该算法通过在无线设备通信时为其人为引入随机射频损伤来规避环境中可能存在的非法RF指纹识别系统,从而达到物理层上的设备指纹匿名化。实验结果显示该算法能够成功地使设备的RF指纹匿名化,从而防止用户隐私信息的泄露。