本文基于星间光通信高精度指向跟踪系统,研究了星间光通信卫星平台振动抑制方法和利用先进控制算法对系统的性能进行改善,并对所设计的内容进行了仿真验证。具体工作包括:首先,探讨了星间光通信中卫星平台振动的来源与种类,研究了国外几颗光通信卫星上实测的振动光谱,总结出振动所遵循的几个规律。以振动谱中典型的正弦谐波为例,推导了振幅、频率和时间对误码率的影响。最后对振动的抑制方法进行了研究,对高频振动采用被动隔离方式,该方法操作简单,对高频振动抑制效果显著;对低频振动采用了自适应带宽抑制方式,该方法无需添加新器件,对抑制低频振动带来的误码率增加作用明显,并进行了仿真验证。其次,针对声光偏转系统由于器件的非线性造成的耦合和平台振动造成的指向误差导致系统性能恶化问题,引入了模型参考自适应控制系统,提出了理想的模型,设计了模型参考自适应控制器,强迫性能恶化的声光偏转系统的输出跟随理想模型的输出,使其性能改善,利用超稳定性理论确定自适应参数以保证系统的稳定性。并对控制器对系统性能改进和平台振动抑制能力进行了仿真验证。最后,针对压电偏转系统系统动力学复杂和无法得到系统状态量的问题,提出了分散式李亚普诺夫控制系统,设计了分散式自适应控制器。该控制器对系统各通道进行分散式控制,利用李亚普诺夫函数的确定过程求解各自适应参数表达式,以保证了系统的稳定性。并仿真验证了控制器提高系统性能和抑制平台振动的能力。