近年来,随着智能手机和可穿戴设备的发展,使用智能设备中传感器数据的行为识别受到了越来越多的关注,并已经应用在医疗保健、智能城市等多个领域。现有方法通常基于深度学习技术,避免了手工特征设计。然而,在广泛应用于现实场景之前仍有几个问题急需解决。首先是隐私保护问题。用户的传感器数据携带隐私信息,传统的集中式训练方式很可能导致用户的隐私数据泄露。第二是标签稀缺问题。传感器产生数据的频率通常很高,人工为这些数据打上行为标签非常困难。第三是流式数据问题。由于个体行为的特性,传感器数据流的局部分布通常只包含单个行为的信息,在训练过程中可能造成模型收敛不稳定和概念漂移问题。第四是模式异质性问题。由于个体的身体差异,不同个体的行为模式不同甚至有很大差别,通用的泛化模型难以在所有用户上都取得最好的效果。因此,本文提出了一个用于行为识别的个性化联邦学习框架（简称FedHAR）。框架使用层级注意力机制对齐不同层次的传感器数据、消除时间窗口内时序数据的长度差异,并进行多模态特征的融合。本文在统一框架内考虑了上述提到的四个问题。首先,框架使用联邦学习的方式进行分布式模型训练,允许用户将个人数据保存在本地,避免数据上传可能带来的隐私泄露问题。其次,本文提出了一种适用于行为识别的无监督梯度算法,在一致性训练命题下同时使用有标签数据集和无标签数据流进行半监督模型训练,共同提高模型性能。该算法仅使用数量有限的有标签数据,配合大量的无标签流式数据,就可以训练出性能优越的神经网络模型,解决了传感器数据标签稀缺的问题。此外,本文还设计了一种简单有效的无监督梯度聚合策略,来克服使用流式数据可能带来的模型收敛不稳定和概念漂移问题。最后,考虑到个体行为模式的差异性,本文在提出的框架基础上设计了一种在线半监督个性化算法,针对特定的个体,在泛化模型的基础上微调一个更适合的个性化模型。本文还就框架的鲁棒性进行了讨论,针对联邦学习下的投毒攻击和推断攻击提供了防御方案。本文在两个的真实的行为识别数据集上展开了大量实验,结果证明提出的方法与目前先进的基线方法相比,在所有指标上都取得了更好的表现。特别是在对每个客户端进行个性化微调后,在所有指标上可以额外再取得10%的改进。除此之外,在实验部分本文还展示了联邦框架下模型的收敛情况、通信和计算代价,并在不同的信噪比条件下测试了本算法对通信错误的容忍性。本文还就框架对投毒攻击和推断攻击的防御方案的效果和可行性进行了实验。