近年来,由于机器学习技术的飞速发展,针对机器学习技术在通信领域的应用,吸引了人们的极大关注,并成为了研究热点,其中包括自适应编码、信道估计、接收信号均衡等。将机器学习与调制技术结合的研究也逐渐开始受到人们的关注。本文探索将机器学习理论应用于通信物理层调制编码设计问题。首先,建立了一种新型的端到端训练的网络模型,将深度神经网络映射成降噪自编码器的形式,由其逻辑上的“输入层-隐藏层-输出层”三层结构对应于信号的“调制-信道-解调”过程。构建了一种神经网络通信自编码器,该自编码器可以在无任何先验知识的情况下,通过随机生成的数据流进行训练,学习到合适的调制编码方式,将信息调制为对信道干扰鲁棒性更强的调制信号。然后,针对现有通信方式的局限性,为了进一步利用通信自编码器的学习能力,在单用户通信自编码器的基础上,拓展到了双用户收发对情况,在原有损失函数的基础上引入了一种双用户耦合损失函数,用以平衡两用户的性能;进一步的,在多用户场景下,研究了端到端多用户联合训练方案,实现了一种具有多用户协作调制能力的自编码器。最后,本文研究了基于卷积神经网络的信号调制识别方法。首先本文使用了简化的卷积神经网络与深度残差网络（Resnet-50）来对不同调制方式的信号进行调制方式的识别与分类。此基础上,本文对卷积神经网络的结构进行了优化,提出了一种基于Xception结构与多头注意力机制结合的调制识别方法XMH（Xception with Multi-Head）。结果表明,使用 XMH 网络结构的模型对调制方式的识别率高于其他卷积神经网络的识别率,且具有更好的通用性与可迁移性。