作为一种动态的频谱分配策略,认知无线电（Cognitive Radio,CR）为解决频谱资源匮乏和利用率不足的问题提供了新途径。而频谱感知是CR实现的前提与基础,其任务从狭义上讲是检测主用户信道是否被占用;而从广义上看,还包括对信号调制方式、波形等信号参数的识别。通常从用户与主用户之间是一种非协作关系。因此,如何在低信噪比（Signal-to-Noise Ratio,SNR）,主用户先验信息缺乏及无训练样本等条件下设计低复杂度的频谱感知算法,一直以来是CR信号处理中的经典课题。图域信号处理（Graph Signal Processing,GSP）作为一种新兴的信号处理技术,可将信号从传统的时、频等形式变换到图域进行处理,已在信号检测、调制识别等方面得到初步应用,但仍存在计算复杂度高,低SNR时性能不佳及特征提取的数据依赖性强等问题。为此,本文以GSP理论为基础,结合极值理论（Extreme Value Theory,EVT）、拓扑数据分析（Topology Data Analysis,TDA）及其它信号处理技术,分别提出了两种CR频谱感知算法和信号调制识别算法,其效能优于现有处理算法。论文的主要研究工作如下:（1）提出了一种基于功率谱极差序列的图域CR频谱感知算法:借助图域变换及极值统计方法,将观测信号功率谱的极差序列转换到图域,并以Gini系数作为统计量,通过检验图的完全连接性实现对CR频谱的有效感知。仿真结果表明,在SNR为-2d B时,算法检测概率已达90%以上,计算复杂度为现有图域感知算法的16.4%,其检测性能更佳、复杂度更低。（2）提出了一种基于自相关函数图域特征的CR频谱感知算法:将去均值后观测信号的自相关函数转换到图域,并以图拉普拉斯矩阵零特征值个数作为统计量,通过检验图连通分量个数完成对CR频谱的感知。仿真结果表明,在SNR为-10d B时,算法的检测概率接近100%,优于现有图域感知算法,计算复杂度约为现有图域感知算法的1.7倍,其综合效能更佳。（3）提出了一种基于图及持续性熵特征的CR信号调制识别算法:先通过短时滤波重构待识信号,后对其非线性变换谱、时频曲线分别进行图域及持续同调变换,以获取图Gini系数、度和及持续性熵等特征,可实现对二进制相移键控（Binary Phase Shift Keying,BPSK）、正交相移键控（Quadrature Phase Shift Keying,QPSK）、二进制振幅键控（Binary Amplitude Shift Keying,2ASK）和十六进制正交幅度调制（Hexadecimal Quadrature Amplitude Modulation,16QAM）四种常用信号的识别。仿真结果表明,在SNR为-3d B时,算法的平均识别正确率接近100%,且计算复杂度适中,总体效能优于现有基于正弦分量检测的识别算法。（4）提出一种基于图最大度特征的CR信号调制识别算法:以经过短时滤波重构后的待识信号依据,分别将信号的幅度谱、平方谱和四次方谱转换到图域,并以图的最大度作为识别特征,完成了对BPSK、QPSK、2ASK和16QAM四种常用信号的调制识别。仿真结果表明,在SNR为-3d B时,算法的平均识别正确率接近100%,其识别性能与计算复杂度均优于现有的基于正弦分量检测的识别算法。