论文部分内容阅读
2019年6月26日，谷歌对Dropout算法提出的专利申请正式生效，专利有效期为15年，2034年9月3日到期。Dropout算法最早由Hinton于2012年提出，是一种在深度学习、训练神经网络时被普遍使用的算法，可以有效解决过拟合现象，由于Dropout是人工智能最底层算法，使用范围十分广泛，此次专利申请在人工智能领域引起轩然大波。
背景
Dropout算法可以有效解决深度学习中的过拟合问题。Dropout最早于2012年被图灵奖获得者Hinton提出，由Alex首次用于卷积网络的图像分类。由于神经网络拟合能力过强，在实际的训练情况中极易出现“过拟合”，“过拟合”情况一旦出现会导致训练完成后的神经网络模型无法用于训练集之外的其他数据。
Dropout算法的作用便是在神经网络训练过程中以一定概率丢弃部分神经元来防止“过拟合”现象，在深度学习领域中的应用极为普遍，现在主流的卷积、循环神经网络训练都会用Dropout技术作为正则化器。基于Dropout的广泛应用，Dropout的变形例如Targeted Dropout、 Sample Dropout等陆续被开发问世。
深度学习基础算法类专利凤毛麟角。从全球范围看，深度学习专利集中在产业下游。2018年全球深度学习领域新增专利数量为7429项，虽然专利数量呈现爆发式增长，但从分布情况来看主要集中在产业中下游，即对深度学习神经网络的使用及人工智能应用模式的创新。目前，计算机视觉创新热度最高，2018年相关专利数量超过4000个，占比超过全部专利数量的一半;另外，从专利数量来看，2016年至2018年谷歌总共发布专利数量为1659项，在全球企业排名中仅次于IBM和微软，位列第三位，其中以发明专利居多。谷歌善于通过基础算法进行生态构建，持续地注重基础算法专利的储备和布局，在此次对Dropout申请专利之前，谷歌已经多次对基础算法进行专利申请，如自然语言处理中的Word2vec和视频压缩中的ANS等。
近年来，谷歌在深度学习基础算法领域专利布局进一步深化，其专利申请相较之前呈明显增加的趋势，并在2013年呈现爆发式增长，其布局重点领域为自动驾驶汽车基础技术，如环境感知、操作控制等。谷歌在基础领域的专利布局使其得以牢牢把控产业上游“闸口”。
案例介绍
事件描述。2016年8月2日，谷歌对Dropout算法提出了专利申请，该项专利于2019年6月26日正式生效，专利有效期为15年，2034年9月3日到期。在专利申请的文档主体中，谷歌提供了神经网络的结构图和训练流程图，并介绍了专利申请的背景，对专利进行了简要概括，提供了专利分类，并描述了专利的实施原理。谷歌在Dropout专利申请成功后还没有后续动作，该专利目前仍然处于免费状态，但是谷歌对于业界的讨论并没有给出正面回应，深度学习开发者、AI初创企业和AI科研机构等都仍旧面临谷歌对于Dropout算法进行收费或者限制的风险。
后续发展。业界对谷歌申请Dropout专利主要存在两种意见。乐观者认为此次不是谷歌第一次进行基础算法的专利申请，并且谷歌没有对算法进行限制或者收费的先例，此次谷歌针对Dropout申请专利有較大概率是为了防止在进行技术开发中被其他公司起诉，是一种自我保护行为，谷歌不会对Dropout使用者进行限制。悲观者认为谷歌对深度学习底层算法进行专利申请，握住了整个深度学习领域的命脉，所有Dropout算法使用者都面临“卡脖子”的风险。
简评
我国深度学习领域以企业为主体的专利数量占比较低。近几年，我国深度学习专利增长迅速，但是以企业为主体的专利数量较少，企业创新主体的地位没有得到充分体现。从总体构成上看，我国深度学习领域的研发力量集中于科研院所，而美国主要集中于企业。2018 年，美国以企业为申请主体的新增专利数占到其专利总申请数量的 81.5%，而我国此项比重仅为 40.8%。科研院所在深度学习领域研发创新中戏份较重体现出一定弊端，一是各个院所之间相对独立，并且科研院所研发经费相较大型企业略显窘困，导致研究力量比较分散，研发方向不够聚焦，难以真正解决基础领域重点难点问题。二是科研院所与产业、市场的应用需求衔接不足，研发创新成果难以实现真正的应用落地，研发到应用之间存在断层。
我国应当高度关注人工智能基础算法专利布局。我国人工智能代表企业如百度、商汤、科大讯飞等，聚焦语音识别、图像识别、端到端自动驾驶系统、图像分割神经网络、视线追踪等领域开发应用产品，但是与美国科技巨头如 IBM、谷歌、微软等相比，我国在人工智能基础算法布局处于空白，在未来发展中略显乏力。此次谷歌对 Dropout 技术申请专利应当引起行业管理部门重视，鼓励企业在新兴领域原始创新上加大资金、人才等投入力度，在底层架构、基础理论等方面勇于做先行者和开拓者。同时相关企业应当增强知识产权意识，通过专利布局对未来新兴领域的产业生态构建进行超前谋划，积极在基础算法领域进行专利布局，打好行业发展根基。
背景
Dropout算法可以有效解决深度学习中的过拟合问题。Dropout最早于2012年被图灵奖获得者Hinton提出，由Alex首次用于卷积网络的图像分类。由于神经网络拟合能力过强，在实际的训练情况中极易出现“过拟合”，“过拟合”情况一旦出现会导致训练完成后的神经网络模型无法用于训练集之外的其他数据。
Dropout算法的作用便是在神经网络训练过程中以一定概率丢弃部分神经元来防止“过拟合”现象，在深度学习领域中的应用极为普遍，现在主流的卷积、循环神经网络训练都会用Dropout技术作为正则化器。基于Dropout的广泛应用，Dropout的变形例如Targeted Dropout、 Sample Dropout等陆续被开发问世。
深度学习基础算法类专利凤毛麟角。从全球范围看，深度学习专利集中在产业下游。2018年全球深度学习领域新增专利数量为7429项，虽然专利数量呈现爆发式增长，但从分布情况来看主要集中在产业中下游，即对深度学习神经网络的使用及人工智能应用模式的创新。目前，计算机视觉创新热度最高，2018年相关专利数量超过4000个，占比超过全部专利数量的一半;另外，从专利数量来看，2016年至2018年谷歌总共发布专利数量为1659项，在全球企业排名中仅次于IBM和微软，位列第三位，其中以发明专利居多。谷歌善于通过基础算法进行生态构建，持续地注重基础算法专利的储备和布局，在此次对Dropout申请专利之前，谷歌已经多次对基础算法进行专利申请，如自然语言处理中的Word2vec和视频压缩中的ANS等。
近年来，谷歌在深度学习基础算法领域专利布局进一步深化，其专利申请相较之前呈明显增加的趋势，并在2013年呈现爆发式增长，其布局重点领域为自动驾驶汽车基础技术，如环境感知、操作控制等。谷歌在基础领域的专利布局使其得以牢牢把控产业上游“闸口”。
案例介绍
事件描述。2016年8月2日，谷歌对Dropout算法提出了专利申请，该项专利于2019年6月26日正式生效，专利有效期为15年，2034年9月3日到期。在专利申请的文档主体中，谷歌提供了神经网络的结构图和训练流程图，并介绍了专利申请的背景，对专利进行了简要概括，提供了专利分类，并描述了专利的实施原理。谷歌在Dropout专利申请成功后还没有后续动作，该专利目前仍然处于免费状态，但是谷歌对于业界的讨论并没有给出正面回应，深度学习开发者、AI初创企业和AI科研机构等都仍旧面临谷歌对于Dropout算法进行收费或者限制的风险。
后续发展。业界对谷歌申请Dropout专利主要存在两种意见。乐观者认为此次不是谷歌第一次进行基础算法的专利申请，并且谷歌没有对算法进行限制或者收费的先例，此次谷歌针对Dropout申请专利有較大概率是为了防止在进行技术开发中被其他公司起诉，是一种自我保护行为，谷歌不会对Dropout使用者进行限制。悲观者认为谷歌对深度学习底层算法进行专利申请，握住了整个深度学习领域的命脉，所有Dropout算法使用者都面临“卡脖子”的风险。
简评
我国深度学习领域以企业为主体的专利数量占比较低。近几年，我国深度学习专利增长迅速，但是以企业为主体的专利数量较少，企业创新主体的地位没有得到充分体现。从总体构成上看，我国深度学习领域的研发力量集中于科研院所，而美国主要集中于企业。2018 年，美国以企业为申请主体的新增专利数占到其专利总申请数量的 81.5%，而我国此项比重仅为 40.8%。科研院所在深度学习领域研发创新中戏份较重体现出一定弊端，一是各个院所之间相对独立，并且科研院所研发经费相较大型企业略显窘困，导致研究力量比较分散，研发方向不够聚焦，难以真正解决基础领域重点难点问题。二是科研院所与产业、市场的应用需求衔接不足，研发创新成果难以实现真正的应用落地，研发到应用之间存在断层。
我国应当高度关注人工智能基础算法专利布局。我国人工智能代表企业如百度、商汤、科大讯飞等，聚焦语音识别、图像识别、端到端自动驾驶系统、图像分割神经网络、视线追踪等领域开发应用产品，但是与美国科技巨头如 IBM、谷歌、微软等相比，我国在人工智能基础算法布局处于空白，在未来发展中略显乏力。此次谷歌对 Dropout 技术申请专利应当引起行业管理部门重视，鼓励企业在新兴领域原始创新上加大资金、人才等投入力度，在底层架构、基础理论等方面勇于做先行者和开拓者。同时相关企业应当增强知识产权意识，通过专利布局对未来新兴领域的产业生态构建进行超前谋划，积极在基础算法领域进行专利布局，打好行业发展根基。