论文部分内容阅读
◆摘 要：最初的简单神经网络模型处理序列化数据，对于矩阵形式的数据，不能有效处理，因此，学者们提出卷积神经网络处理规则的矩阵数据。近年来，不规则的图数据受到极大关注，图神经网络取代了传统的图数据预处理阶段，是一种精度更高的图表示学习框架。虽然神经网络是一种不易解释的黑匣模型，但仍需要一定的数学支撑。本文以数学在机器学习中的应用为出发点，浅谈数学在机器学习中发挥的重要作用，并通过实验验证激活函数对图神经网络模型的影响。
◆关键词：数学;机器学习;图神经网络
机器学习是一门交叉学科，本文以其中的图神经网络（GNN）为主，简要介绍数学在机器学习中的作用。本文结构如下，第一部分简要介绍数学与机器学习的基础知识，并说明数学在机器学习中起到的重要作用，第二部分是实验，第三部分是结论，最后是参考文献。
1基础知识
1.1相关定义
激活函数是为了让神经网络模型可以理解和学习复杂的非线性的关系，不同的激活函数对模型有着不同的影响，但激活函数对神经网络模型是重要的，不可缺少的。
1.2数学与机器学习
本节以数学在机器学习中的应用为出发点，探讨数学在机器学习中发挥的作用，主要以激活函数在图神经网络模型中发挥的作用为例进行说明。GNN是目前处理图数据最有效的模型，实现了端对端的架构，跳过一定会损失信息的图预处理阶段，利用神经网络强大的拟合能力学习图数据的丰富结构信息。GNN目前诞生了诸多变体，本文旨在探讨激活函数对GNN的重要性，说明即使是一些简单的数学函数在机器学习中也发挥着作用。
2实验
本节主要通过实验验证激活函数对图神经网络模型的重要性，验证说明激活函数是图神经网络必不可少的一部分。实验数据集为论文引用图Cora和Citeseer，均是公开的机器学习基准数据集，主要用于节点分类任务，Cora數据集包含2708个节点，10556条边，节点共有7类，训练集、验证集和测试集大小分别为140、500和1000，批大小为70。Citeseer数据集包含3327个节点，9228条边，节点共有6类，训练集、验证集和测试集大小分别为120、500和1000，批大小为60。模型训练学习率为0.005，为了防止过拟合采用的dropout值为0.6，保证以上参数一致，分别验证带有和不带有激活函数的模型。
3结论
本文简要介绍了机器学习的发展，尤其是图神经网络的发展，通过对图神经网络模型激活函数的理解，说明了激活函数对图神经网络的重要性，并通过简单的实验验证了这一结果。未来我们希望研究更复杂的损失函数，损失函数用到了均方误差、交叉熵等数学知识，通过研究损失函数对模型的重要性说明数学在机器学习中起着重要作用，进而说明数学与机器学习的关系。
参考文献
[1]周志华.机器学习：=Machine learning[M].清华大学出版社，2016.
[2]林艳.人王智能的符号主义纲领及其困境[J].求索，2019（06）：186-193.
[3]李道义.统计学和机器学习[J].数码世界，2018（11）.
[4]Goodfellow I ，Bengio Y ， Courville A . Deep Learning[M]. The MIT Press， 2016.
[5]The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks， 2009，20（01）：61.
[6]Bruna J， Zaremba W， Szlam A， et al.Spectral networks and locally connected networks on graphs[J].arXiv preprint arXiv：1312.6203， 2013.
[7]Semi-Supervised Classification with Graph Convolutional Networks，ICLR，2017.
[8]Representation Learning on Graphs with Jumping Knowledge Networks，Proceedings of the 35 th International Conference on Machine Learning.
[9]How Powerful are Graph Neural Networks？ In Proceedings of the 7th International Conference on Learning Representations，ICLR 2019， New Orleans， LA， USA， May 6–9， 2019.
[10]Graph Attention Network.In Proceedings of the 6th International Conference on Learning Representations，ICLR，2018.
[11]Heterogeneous Graph Neural Network[C]// the 25th ACM SIGKDD International Conference. ACM， 2019.
◆关键词：数学;机器学习;图神经网络
机器学习是一门交叉学科，本文以其中的图神经网络（GNN）为主，简要介绍数学在机器学习中的作用。本文结构如下，第一部分简要介绍数学与机器学习的基础知识，并说明数学在机器学习中起到的重要作用，第二部分是实验，第三部分是结论，最后是参考文献。
1基础知识
1.1相关定义
激活函数是为了让神经网络模型可以理解和学习复杂的非线性的关系，不同的激活函数对模型有着不同的影响，但激活函数对神经网络模型是重要的，不可缺少的。
1.2数学与机器学习
本节以数学在机器学习中的应用为出发点，探讨数学在机器学习中发挥的作用，主要以激活函数在图神经网络模型中发挥的作用为例进行说明。GNN是目前处理图数据最有效的模型，实现了端对端的架构，跳过一定会损失信息的图预处理阶段，利用神经网络强大的拟合能力学习图数据的丰富结构信息。GNN目前诞生了诸多变体，本文旨在探讨激活函数对GNN的重要性，说明即使是一些简单的数学函数在机器学习中也发挥着作用。
2实验
本节主要通过实验验证激活函数对图神经网络模型的重要性，验证说明激活函数是图神经网络必不可少的一部分。实验数据集为论文引用图Cora和Citeseer，均是公开的机器学习基准数据集，主要用于节点分类任务，Cora數据集包含2708个节点，10556条边，节点共有7类，训练集、验证集和测试集大小分别为140、500和1000，批大小为70。Citeseer数据集包含3327个节点，9228条边，节点共有6类，训练集、验证集和测试集大小分别为120、500和1000，批大小为60。模型训练学习率为0.005，为了防止过拟合采用的dropout值为0.6，保证以上参数一致，分别验证带有和不带有激活函数的模型。
3结论
本文简要介绍了机器学习的发展，尤其是图神经网络的发展，通过对图神经网络模型激活函数的理解，说明了激活函数对图神经网络的重要性，并通过简单的实验验证了这一结果。未来我们希望研究更复杂的损失函数，损失函数用到了均方误差、交叉熵等数学知识，通过研究损失函数对模型的重要性说明数学在机器学习中起着重要作用，进而说明数学与机器学习的关系。
参考文献
[1]周志华.机器学习：=Machine learning[M].清华大学出版社，2016.
[2]林艳.人王智能的符号主义纲领及其困境[J].求索，2019（06）：186-193.
[3]李道义.统计学和机器学习[J].数码世界，2018（11）.
[4]Goodfellow I ，Bengio Y ， Courville A . Deep Learning[M]. The MIT Press， 2016.
[5]The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks， 2009，20（01）：61.
[6]Bruna J， Zaremba W， Szlam A， et al.Spectral networks and locally connected networks on graphs[J].arXiv preprint arXiv：1312.6203， 2013.
[7]Semi-Supervised Classification with Graph Convolutional Networks，ICLR，2017.
[8]Representation Learning on Graphs with Jumping Knowledge Networks，Proceedings of the 35 th International Conference on Machine Learning.
[9]How Powerful are Graph Neural Networks？ In Proceedings of the 7th International Conference on Learning Representations，ICLR 2019， New Orleans， LA， USA， May 6–9， 2019.
[10]Graph Attention Network.In Proceedings of the 6th International Conference on Learning Representations，ICLR，2018.
[11]Heterogeneous Graph Neural Network[C]// the 25th ACM SIGKDD International Conference. ACM， 2019.