论文部分内容阅读
人工智能的应用和落地场景越来越宽泛，图像识别、语音识别、机器翻译、AI 医疗和自动驾驶等领域不断有新产品落地，深度学习技术则是促进这些产品落地的关键。以深度学习领域相关技术术语为关键词进行 12 门语种跨语言检索，获取截至 2019 年3 月底的中、美、韩、日、德等 17 个国家专利局及 PCT（国际专利合作协定）相关专利信息，形成深度学习领域 16335 项专利文本数据集。通过对该样本数据集进行 LDA 主题挖掘，可以分析把握全球深度学习技术的创新态势。
全球深度学习技术创新
态势分析
从新增专利数量看，目前全球深度学习领域技术创新正处于蓬勃发展期。2018 年全球深度学习领域新增专利 7429 项，是 2017年的 2.34 倍。2018 年 PCT 新增专利 429 项，是 2017 年的 3.67倍。中国、美国与韩国专利局的新增专利数量位居全球前三，其中，2018 年中国为 5638 项，美国为 736 项，韩国为 315 项。从深度学习领域新增专利数量的变化看，中国目前是深度学习创新全球最活跃的国家。
从申请主体构成看，企业与科研院所的研发能力大致相当。2018 年，全球以公司为申请主体的深度学习技术专利有 3496 项，以高校科研院所为申请主体的有 3416 项，大致呈现平衡格局。根据专利数量排名，2018 年全球排名前五的企业主要有 IBM、平安科技、三星电子、谷歌和英特尔，分别新增 62、53、52、46和 45 项相关发明专利。
我国全球排名前五的科研院所主要有华南理工大学、电子科技大学、天津大学、浙江工业大学和清华大学，分别新增 140、114、93、79 和 78 项相关发明专利。
从算法角度上看，卷积神经网络算法占比最高，生成式对抗网络算法使用量快速增长。从深度学习算法角度看，卷积神经网络（CNN）、循环神经网络（RNN）、生成式对抗网络（GAN）、长短期记忆网络（LSTM）等成为深度学习的热门算法，使用频率逐年增高。2018 年，全球涉及 CNN、RNN、GAN、LSTM 算法专利数量为 3061、239、38 和 31 项，分别比上年增长 122.7%、94.3%、533.3%和 416.7%。可见，卷积神经网络算法占绝大部分比重，生成式对抗网络（GAN）算法增长势头迅猛。
从技术应用领域看，深度学习技术在机器视觉领域的应用比重较大，自动驾驶领域应用创新热度较高。深度学习技术目前主要应用于机器视觉、自然语言、自动驾驶等领域，其中机器视觉创新热度最高。在机器视觉领域，2018 年全球涉及图像、视频等机器视觉领域的深度学习技术专利分别有 3674 项和 673 项，两者合计约占 2018 年全球深度学习技术专利总量的 58.5%。在自然语言领域，2018 年相关专利技术有 495 项，比上年增长约104.5%，充分表明自然语言领域应用深度学习技术的创新热度较高。在自动驾驶领域，深度学习技术应用创新最热，2018 年相关专利技术有 133 项，比上年增长约 182.9%。
我国深度学习技术创新
现状分析
我国在深度学习技术应用层具有较强的拓展能力，但基础层深耕不足。我国创新涉及的应用方向较为广泛，已涉及行人识别、能耗预测、中医文本命名实体识别，以及眼底图像的视网膜血管分割等很多不同的领域。例如，百度在线公司把深度学习技术应用于语音识别、图像生成、人脸图像识别、端到端自动驾驶系统等领域，商汤科技公司把深度学习技术应用于人物识别、三维人体姿态预测、实例分割、图像分割神经网络、视线追踪等领域。而美国在深度学习领域的技术创新大多聚焦于基础层的效率提升。例如，IBM 公司研发了一种应用于大规模深度学习的多方向缩减技术，能够较大限度地减少系统节点间通信所需的传输数据量，从而提高计算效率。整体而言，我国更偏向于应用创新，计算、存储与传输优化方面的专利相对较少。
我国深度学习专利增长迅速，但以企业为主体的创新较少。从增速上看，2016～2018 年，我国深度学习领域的新增专利数量分别为 701、2487 和 5638 项，平均年增速达到 183.6%。从构成上看，我国的研发力量集中于高校科研院所，而美国主要集中于企业。2018 年，美国以企业为申请主体的新增专利数占到其总量的 81.5%，而中国以企业为申请主体的比重仅为 40.8%。
我国使用深度学习技术的企业高度聚集于广东省、北京市等地，区域分化趋势加大。从空间分布格局看，京津冀地区和珠三角地区创新活跃度最为显著。2018 年，我国深度学习领域技术创新最活跃的前 30 家企业（按新增专利数排序），分布在北京市、广东省的数量占比分别为 46.7%和 20%。从空间分布变化看，对比 2017 年和 2018 年最活跃的前 30 家企业分布格局，广东省从 4家上升至 6 家，北京市从 13 家上升至 14 家，上海市从 4 家下降至 0 家。可见，广东省、北京市在人工智能（深度学习技术领域）领域的活跃度在上升，而上海等地的活跃度有所下降。
深度学习技术创新要素
打造平台，统筹协调促进研发资源聚合。美国近 81.5%的人工智能（深度学习方向）研发创新力量集中于企业，有很强的商业目标性。我国研发主力则大多集中在科研院所，且研究力量比较分散，研发方向不够聚焦（多数是技术在某些新领域的应用），研发经费碎片化，难以聚集力量解决重点问题。建议借鉴美国成立国防高级研究计划局、Google X 实验室、Facebook 人工智能研究院的经验，成立我国的人工智能国家实验室和人工智能产学研协同创新中心，打通政、产、学、研、用各环节，促进研发资源的聚合，聚焦难点环节展开重点攻关。
加强引导，推动计算、存储、传输等共性技术发展。不管人工智能应用如何拓展，其数据存储、信息传输、高性能计算等共性技术还是相通的。美国很多企业已经认识到这一点，谷歌、IBM、英特尔、英伟达等企业，大都围绕计算效率、数据传输等人工智能的基础层进行专利布局，而把应用创新交给了研发社区。这种做法既抓住了人工智能产业的关键核心，又能够确保创新活跃度。从我国的专利布局看，目前还主要集中于深度学习技术应用层，只有通过引导资源投入通用与共性技术领域，才能使我国人工智能产业走出“专利成果数量多但关键技术少”的怪圈。
构建产业生态，加强人工智能新基础设施建设，辐射更多应用领域。从谷歌公司的专利创新看，一些是围绕 TPU 云服务方向布局。其近期开源的 Tensorflow 框架、云化 TPU 计算资源，就降低了深度学习模型部署难度，大大促进了人工智能的大众化与普及。不管未来应用如何变化，计算和存储都是核心领域，只有掌握这些领域，才能成为智能时代的基石。目前我国人工智能产业生态尚不完善，特别是基础硬件（芯片）领域。
在未来，一方面要加快补齐基础层软硬件短板，围绕一些特定应用场景（如智能手机、无人机、智能驾驶等），从硬件实现角度颠覆性地突破类脑神经芯片，如深度卷积神经网络芯片等。另一方面，要加快建设人工智能新基础设施，发展高性能、高安全的异构计算服务集群及邊缘计算，通过开源深度学习框架、云化计算资源等，促进人工智能普及，辐射更广更深的应用领域。
全球深度学习技术创新
态势分析
从新增专利数量看，目前全球深度学习领域技术创新正处于蓬勃发展期。2018 年全球深度学习领域新增专利 7429 项，是 2017年的 2.34 倍。2018 年 PCT 新增专利 429 项，是 2017 年的 3.67倍。中国、美国与韩国专利局的新增专利数量位居全球前三，其中，2018 年中国为 5638 项，美国为 736 项，韩国为 315 项。从深度学习领域新增专利数量的变化看，中国目前是深度学习创新全球最活跃的国家。
从申请主体构成看，企业与科研院所的研发能力大致相当。2018 年，全球以公司为申请主体的深度学习技术专利有 3496 项，以高校科研院所为申请主体的有 3416 项，大致呈现平衡格局。根据专利数量排名，2018 年全球排名前五的企业主要有 IBM、平安科技、三星电子、谷歌和英特尔，分别新增 62、53、52、46和 45 项相关发明专利。
我国全球排名前五的科研院所主要有华南理工大学、电子科技大学、天津大学、浙江工业大学和清华大学，分别新增 140、114、93、79 和 78 项相关发明专利。
从算法角度上看，卷积神经网络算法占比最高，生成式对抗网络算法使用量快速增长。从深度学习算法角度看，卷积神经网络（CNN）、循环神经网络（RNN）、生成式对抗网络（GAN）、长短期记忆网络（LSTM）等成为深度学习的热门算法，使用频率逐年增高。2018 年，全球涉及 CNN、RNN、GAN、LSTM 算法专利数量为 3061、239、38 和 31 项，分别比上年增长 122.7%、94.3%、533.3%和 416.7%。可见，卷积神经网络算法占绝大部分比重，生成式对抗网络（GAN）算法增长势头迅猛。
从技术应用领域看，深度学习技术在机器视觉领域的应用比重较大，自动驾驶领域应用创新热度较高。深度学习技术目前主要应用于机器视觉、自然语言、自动驾驶等领域，其中机器视觉创新热度最高。在机器视觉领域，2018 年全球涉及图像、视频等机器视觉领域的深度学习技术专利分别有 3674 项和 673 项，两者合计约占 2018 年全球深度学习技术专利总量的 58.5%。在自然语言领域，2018 年相关专利技术有 495 项，比上年增长约104.5%，充分表明自然语言领域应用深度学习技术的创新热度较高。在自动驾驶领域，深度学习技术应用创新最热，2018 年相关专利技术有 133 项，比上年增长约 182.9%。
我国深度学习技术创新
现状分析
我国在深度学习技术应用层具有较强的拓展能力，但基础层深耕不足。我国创新涉及的应用方向较为广泛，已涉及行人识别、能耗预测、中医文本命名实体识别，以及眼底图像的视网膜血管分割等很多不同的领域。例如，百度在线公司把深度学习技术应用于语音识别、图像生成、人脸图像识别、端到端自动驾驶系统等领域，商汤科技公司把深度学习技术应用于人物识别、三维人体姿态预测、实例分割、图像分割神经网络、视线追踪等领域。而美国在深度学习领域的技术创新大多聚焦于基础层的效率提升。例如，IBM 公司研发了一种应用于大规模深度学习的多方向缩减技术，能够较大限度地减少系统节点间通信所需的传输数据量，从而提高计算效率。整体而言，我国更偏向于应用创新，计算、存储与传输优化方面的专利相对较少。
我国深度学习专利增长迅速，但以企业为主体的创新较少。从增速上看，2016～2018 年，我国深度学习领域的新增专利数量分别为 701、2487 和 5638 项，平均年增速达到 183.6%。从构成上看，我国的研发力量集中于高校科研院所，而美国主要集中于企业。2018 年，美国以企业为申请主体的新增专利数占到其总量的 81.5%，而中国以企业为申请主体的比重仅为 40.8%。
我国使用深度学习技术的企业高度聚集于广东省、北京市等地，区域分化趋势加大。从空间分布格局看，京津冀地区和珠三角地区创新活跃度最为显著。2018 年，我国深度学习领域技术创新最活跃的前 30 家企业（按新增专利数排序），分布在北京市、广东省的数量占比分别为 46.7%和 20%。从空间分布变化看，对比 2017 年和 2018 年最活跃的前 30 家企业分布格局，广东省从 4家上升至 6 家，北京市从 13 家上升至 14 家，上海市从 4 家下降至 0 家。可见，广东省、北京市在人工智能（深度学习技术领域）领域的活跃度在上升，而上海等地的活跃度有所下降。
深度学习技术创新要素
打造平台，统筹协调促进研发资源聚合。美国近 81.5%的人工智能（深度学习方向）研发创新力量集中于企业，有很强的商业目标性。我国研发主力则大多集中在科研院所，且研究力量比较分散，研发方向不够聚焦（多数是技术在某些新领域的应用），研发经费碎片化，难以聚集力量解决重点问题。建议借鉴美国成立国防高级研究计划局、Google X 实验室、Facebook 人工智能研究院的经验，成立我国的人工智能国家实验室和人工智能产学研协同创新中心，打通政、产、学、研、用各环节，促进研发资源的聚合，聚焦难点环节展开重点攻关。
加强引导，推动计算、存储、传输等共性技术发展。不管人工智能应用如何拓展，其数据存储、信息传输、高性能计算等共性技术还是相通的。美国很多企业已经认识到这一点，谷歌、IBM、英特尔、英伟达等企业，大都围绕计算效率、数据传输等人工智能的基础层进行专利布局，而把应用创新交给了研发社区。这种做法既抓住了人工智能产业的关键核心，又能够确保创新活跃度。从我国的专利布局看，目前还主要集中于深度学习技术应用层，只有通过引导资源投入通用与共性技术领域，才能使我国人工智能产业走出“专利成果数量多但关键技术少”的怪圈。
构建产业生态，加强人工智能新基础设施建设，辐射更多应用领域。从谷歌公司的专利创新看，一些是围绕 TPU 云服务方向布局。其近期开源的 Tensorflow 框架、云化 TPU 计算资源，就降低了深度学习模型部署难度，大大促进了人工智能的大众化与普及。不管未来应用如何变化，计算和存储都是核心领域，只有掌握这些领域，才能成为智能时代的基石。目前我国人工智能产业生态尚不完善，特别是基础硬件（芯片）领域。
在未来，一方面要加快补齐基础层软硬件短板，围绕一些特定应用场景（如智能手机、无人机、智能驾驶等），从硬件实现角度颠覆性地突破类脑神经芯片，如深度卷积神经网络芯片等。另一方面，要加快建设人工智能新基础设施，发展高性能、高安全的异构计算服务集群及邊缘计算，通过开源深度学习框架、云化计算资源等，促进人工智能普及，辐射更广更深的应用领域。