近年来,利用强化学习方法进行程序化投资管理是金融投资领域的一个热门研究方向。本文结合半马尔可夫过程（SMP）理论和强化学习方法构建一种程序化股票交易模型,以指导投资者的投资实践。首先,本文阐述模型构建的理论基础,包括马尔可夫决策过程（MDP）的Q学习、SMP的Q学习,以及K-means算法在内的相关理论。其中K-means算法用于构建离散的环境状态,特别的,相比MDP的Q学习,SMP的Q学习不仅考虑环境当前状态,还考虑状态的居留时间。其次,本文构建基于SMP的Q学习模型的关键包括环境状态设置、动作设置和奖励设置,随机选取20支新能源股票进行训练和回测,将结果同基于MDP的Q学习模型和买入持有模型进行比较,使用累计收益率、年化收益率、夏普比率等度量模型性能。实证结果表明,当K-means聚3类时,两种Q学习模型在个股市场上都取得了稳健收益,并且抗风险能力远超过买入持有策略,基于SMP的Q学习模型的平均累计收益率（116.54%）、平均年化收益率（30.17%）和平均夏普比率（66.65%）均超过了基于MDP的Q学习模型的平均累计收益率（47.62%）、平均年化收益率（14.37%）和平均夏普比率（42.25%）,说明承担相同风险,基于SMP的Q学习模型能够获得更高回报。当K-means聚6类和聚9类时得到相同结论,其中聚9类时,基于SMP的Q学习模型的平均累计收益率、平均年化收益率和平均夏普比率最大,模型效果最好。最后,为了提高SMP的Q学习模型的累计收益,在聚9类的基础上,从包含财务指标、技术指标和宏观经济指标的共10个特征中进行特征筛选,根据累计收益最大化原则以及各个特征组合的排序结果,得出最优特征组合为交易指标中的V（日交易量变化率）、财务指标中的PE（市盈率）、技术指标中的MACD（收敛-发散移动平均线）和ADO（积累/分布振荡器）、宏观经济指标中的IBO007（利率）。实证结果表明,基于这5项特征的组合,模型在收益和稳定性方面都有提高。因此本文构建的基于SMP的Q学习模型对于机构或个体投资者制定程序化投资管理方案具有一定的参考价值。