卫星通信作为现代通信的重要组成部分，在民用、军事领域都占有相当重要的地位。近年来随着通信技术的不断发展，卫星信号的截获与分析出现了一些新问题，由于接收技术、地理位置、信道环境等的影响，非合作接收条件下，区域卫星信号的检测面临很大困难，并且非标准、不明体制的信号增多，新的调制方式不断出现，其中APSK信号由于拥有高于PSK的频谱利用率和优于QAM的非线性适应性，在卫星通信中已经得到广泛应用，但关于APSK调制识别的研究还较少。本文针对以上两个问题展开研究，首先对已有检测算法进行改进，使其适应特定信道环境下的搜索需要，其次在完成信号搜索的基础上对APSK信号进行特性分析，实现PSK、QAM和APSK等常用调相信号的识别。本文的主要工作如下：1、针对某特定信道环境下卫星信号频谱不同于通用卫星信号，波动较大，采用传统能量门限搜索方法效果不佳的问题，一方面研究功率谱的最优估计，利用多窗谱估计低方差、无偏差的特点解决谱估计中一直存在的估计方差和估计偏差进退两难的问题；另一方面在小波变换抑制噪声的基础上通过加窗求和实现噪声的再次抑制，改进了传统小波变换奇异点检测性能，最后结合两者优点，同时选取合适的搜索门限，提升了特定信道环境下卫星信号的搜索性能。2、已有APSK调制识别算法大都需要匹配接收，预处理要求严格，在非合作接收条件下，由于先验知识少，往往无法达到算法的预处理要求，导致识别效果严重恶化，本文提出一种瞬时统计量与信噪比估计相结合的识别算法，并且论证了瞬时统计特征的噪声不敏感性。该算法直接对频带接收信号进行处理，对先验知识依赖少，预处理要求不高，且运算复杂度较低。3、从理论上分析推导了PSK、QAM、APSK信号经非线性变换后高阶循环累积量表达式，根据APSK信号及PSK、QAM信号高阶循环累积量离散谱线特征的不同，结合循环平稳性检测，提出了一种基于循环平稳特征的识别算法，实现了QPSK、8PSK、16QAM、16APSK、32APSK信号的有效区分。该算法无需参数估计及定时同步等预处理过程，能有效抵制噪声及衰落信道的影响，仿真实验验证了理论分析的正确性及识别算法的有效性。4、在相关理论研究的基础上，构建特定卫星信道环境下信号检测及APSK信号识别与分析系统，完成了相关研究的算法实现和工程实践，并对系统中搜索、识别模块进行实际信号测试。