随着大数据时代的到来和机器学习技术的发展,通过分析非结构化数据来预测股票的走势已经得到了积极的研究。股票市场受到很多因素的影响,预测股市走势的方向一直是投资者和研究人员最广泛调查和挑战的问题之一。上证指数作为衡量上海证券交易所上市股票总体走势的统计指标,在股票市场中起着非常重要的作用,预测上证指数的变化对于投资者和持股人至关重要。人们发现互联网股市信息与股价波动存在着明显的关联关系,如何揭示这种关联关系成为了当前计算机和金融领域的一个研究热点。很多之前的研究也表明股市新闻报道与股票价格变动有着高度相关且有价值的信息,如新闻报道,公司报告等。挖掘互联网股市新闻中所蕴含的信息,并分析与股价走势的关联关系,从而通过这种关联关系来预测股票价格的走势。因此,提取有价值的信息并找出所提取的信息与股票市场之间的关系十分重要。在国内外文献中,一方面,有大量的文献研究的是加入文本情绪这一指标后,在原技术指标上模型准确度的提升,并且在这方面更多的文献是集中于讨论如何更好的提取新闻文本所代表的情绪,通过给每条新闻、留言或者推文分别计算的情绪得分;另一方面是研究各种机器学习模型运用在技术指标上对股票市场的预测。而少有人研究直接通过大数据文本挖掘,以端对端的方式对上证指数的变动方向进行研究。在信息量爆炸的时代,信息冗余,信息偏差等对人们感官决策的影响非常大,在大数据快速增长的时代,什么样的新闻内容或新闻推荐能快速抓住人们的眼球,也是一大热点。今日头条作为当今火热的个性化自主推荐搜索引擎,其基于数据挖掘,分析用户的兴趣爱好等,进行个性化的内容推荐,受到了广大用户的好评,各大版块活跃用户数相当大,所以在今日头条这样的大平台,每天海量的新闻对上证指数的影响有多大,这是值得研究的一个命题。所以针对这一研究命题,在本文中,拟研究如何利用今日头条财经-股票板块丰富的文本信息来预测股票市场,本文准备运用文本挖掘及机器学习方法分析今日头条股票板块的新闻文本,首先通过python里面的jieba中文分词包,对今日头条新闻文本进行分词特征提取,通过TextRank算法得到文本的关键词,并提取关键词词频,通过算法共获取678个关键词作为本文的语料库。随后通过卡方值进行特征的初步过滤及降维处理取出排名前40的关键词,最后通过RFECV筛选使模型效果最好的特征组合,以此选出的词汇作为最终模型的输入。本文采用逻辑回归,支持向量机,CART决策树,随机森林,XGboost和GBDT六个模型,通过对最后模型结果的评估,分析变量对上证指数变化方向的预测能力,以及模型的好坏,以此更好的了解今日头条股票新闻内容对于中国股票市场的预测能力或解释能力,同时依据不同模型预测结果构建股票市场交易策略,将交易收益与同时期指数收益比较,分析不同模型预测结果下能否获得超额收益。最后在既定交易策略下,GBDT表现最好,总收益率达到10.59%,超过同期上证指数收益5.05%。