太阳帆航天器（以下简称太阳帆）是一种利用反射太阳光产生推进力的新型航天器。由于飞行任务不需要消耗大量燃料及其姿轨耦合特性，太阳帆被广泛设计应用于深空探测任务以及普通航天器难以完成的航天任务中。为了在微弱的太阳光压力下获得足够大的推进力，太阳帆一般具有巨大的帆面及很轻的结构质量，这就使得太阳帆具有大转动惯量及大柔性结构。并且太阳帆通过改变姿态来调节推进力的大小及方向，因此具有强烈的姿轨耦合效应。本文首先考虑太阳帆柔性结构的中性面耦合变形，通过混合坐标法和虚功率原理建立太阳帆轨道-姿态-弹性振动耦合动力学降阶模型。在此耦合动力学模型的基础上，通过太阳帆在地球同步轨道及大偏心率椭圆轨道上的动力学分析，对其轨道-姿态-弹性振动耦合效应加以分析。太阳帆做姿态机动时会引起柔性结构的弹性变形及振动，尤其是做大角度机动时，柔性结构较大幅度的振动会引起太阳帆姿态也出现持续振荡现象。本文研究了太阳帆做单自由度大角度机动时，其姿态与弹性振动的耦合效应。通过对Bang-Bang控制加入输入成型器，有效降低了太阳帆大角度机动时柔性结构的振动幅度，并消除姿态角的振荡现象。针对中心力矩控制和端点力控制模型，研究了采用端点处姿控小帆对太阳帆大角度机动的控制，有效抑制了结构及姿态振动。太阳帆悬浮轨道任务是对太阳帆姿轨耦合特性的典型应用。本文将太阳帆的轨道偏差引入姿态控制律的设计，对柔性太阳帆在日心悬浮轨道上的姿轨耦合控制进行了研究，并给出太阳帆柔性对控制过程的影响。太阳帆日心极地轨道由NASA首先提出，用于对太阳活动进行观测。由于太阳帆在轨道转移过程中不需要消耗大量的燃料，所以被设计应用于从地球轨道到日心极地轨道的转移任务。由于太阳帆的姿轨耦合特性，其轨道转移任务的设计最终归结于对其姿态角的设计，而设计过程中假设太阳帆姿态机动瞬时完成。本文在已有太阳帆转移轨迹设计的基础上，采用PD控制对所设计姿态角进行跟踪控制，研究了太阳帆姿态机动过程及其柔性对任务的影响。并且在长期的深空飞行任务中，考虑了太阳光压影响力矩对任务的影响。最后对比了采用中心力矩控制和端点姿控小帆力控制对任务的影响。