论文部分内容阅读
摘要：人类社会进入信息革命4.0时代，国家把光电子技术产业列为战略性新兴产业，在光电子没有科学的正式分类1前，本文自行对光电子分成8个门类，同时面对光电子资源匮乏，一些行业资料尚处于商业机密，规划师如何利用网虫爬取互联网数據，展开特定行业的调查研究提供一些参考。
关键词：网络爬虫，中国光电子行业分布特征;规划研究
1项目背景
光电子产业是21世纪的支柱产业，光电子技术不仅全面继承兼容电子技术，而且具有微电子无法比拟的优越性能和更广阔的应用范围。光电子学和光电子技术在信息、能源、材料、航空航天、生命科学及国防军事领域中得到广泛应用。在国家实施“一带一路”战略的指引下，随着东部产业转移，新一轮科技革命和产业变革兴起与经济发展方式转变，光电子技术产业被国家列为战略性新兴产业。
本文着重介绍第一小组研究方法，规划师在遵守网络道德和爬虫协议（Robots）下，利用网络爬取技术，对国内光电子信息网页进行数据收集、分析、整理，并提出国内光电子行业分布特征，为所做玉溪光电子产业园的发展方向和重点、规划思路和目标提供支撑，也进一步引导省内外光电子产业重点企业向园区集聚，形成拳头力量，有效拓展玉溪市乃至云南省光电子产业领域，实现产业升级。
2爬取目标导向和路径
据工信部发布《中国光电子器件产业技术发展路线图（2018-2022年）》，国家将光电子产业纳入国家发展战略，大力支持光电子产业发展，同时国家加大对光电子芯片共性关键技术的研发资金的支持，迅速提高核心器件国产化率，培育具有国际竞争力大企业等。2018年4月26日，国家信息光电子创新中心在武汉烽火科技集团正式挂牌成立。承载着解决我国信息光电子制造业“关键和共性技术协同研发，实现首次商业化”的战略任务。
目标导向有三项：一是摸清中国光电子整体发展情况？二是中国光电子8个行业状况？三是对于中西部典型地区光电子行业状况是什么？
爬取路径：选择爬虫、爬取框架、源数据分析处理、IP拦截处理、成果。
3数据分析与成果
3.1数据挖掘技术
通过脚本编程、Web前端、网络通信、爬虫框架、网页解析、数据库、分布式部署七项构建技术规则。选择python按照上述规则去抓取网站上设定的有价值信息，并按8类行业门类，从上、中、下游产业分别所处城市里企业进行分析。详见图1 技术规则代码实现模型构建。
3.2源数据分析
选择EXECL工具，从编号、行业类型、产业链、产业类型、分布省份（填写省份全名）、所在城市（具体到地级市名称，直辖市直接填写直辖市名称，不需具体到区县、"是否省会城市或教育、科技、经济发达城市"）、属区域（东部、中部、西部、东北）、公司名称、详细信息共8个方面进行挖掘。
遇到多次访问后IP被网站防火墙拦截，禁止访问，部分页面内容利用Ajax技术异步加载，解析值为空，研究小组使用Selenium+webdrive扩展包实现模拟浏览器，获取动态数据，IP代理转发、动态IP，从而对持续对网络信息进行挖掘。
3.3分析结论
（1）截止2018年底，全国光电子行业分八大行业，共计8746家企业。（O）LED行业企业数量最多，占比29%;其次激光、光学行业企业数量分列二、三位，分别占比22%和18%。红外行业和光存储行业企业数量较少。东部地区企业占比达82%，中部和西部企业数量差别不大，从小范围来看，东北和台湾企业分布较为集中。
发现北上广深四大一线城市在其中所占市场份额是最大。详见如下八个行业状况：
3.3.1（O）LED行业状况
据LED行业上中下游企业地域分布统计表反映出，不论是上游中游还是下游，东部地区企业数量均有绝对优势。其中（O）LED行业上游呈现芯片生产、辅料及设备企业较多;其次外延材料和发光材料企业也较多。（O）LED行业中游呈现封装模块/光源、LED器件企业数量较多，其次驱动IC/控制及电源及封装材料企业数量也较多。（O）LED行业下游呈现LED显示、景观灯饰、半导体照明企业数量较多。
北上广深四大一线城市加上东莞LED企业数量排前五;深圳LED企业数量遥遥领先;前十名中，珠三角城市占4个，长三角城市占3个。分析“LED行业企业数量前十名城市，分别是深圳936个、上海157个、北京149个、东莞126个、广州112个、中山94个、杭州58个、杭州58个、宁波53个、厦门49个和苏州44个。
深圳：具备LED全产业链，企业数量在全国范围内遥遥领先，中下游企业数量明显多于上游企业数量;其中，上游产品以辅料及设备、以及芯片企业居多;
中游产品主要以LED器件、封装模块/光源企业为主，其次封装材料、封装机检测企业也较多;下游产品主要有LED显示、景观灯饰为主，其次LED背光源、报道提照明企业数量也较多。
上海：具备LED全产业链，企业数量下游企业多于中游企业，上游企业数量相对较少;其中，上游产品以辅料及设备、发光材料、外延材料、以及芯片企业为主;中游产品主要以封装模块、驱动IC/控制企业居多;下游产品主要以景观灯饰和半导体照明企业居多
3.3.2激光行业状况
北京、深圳、上海、武汉分列前四位，激光企业数量明显多于其他城市;前十名东部7席、西部2席、中部1席，除广东占据三席外，其余整体分布相对分散。
北京：具备激光行业全产业链，从上游到下游，企业数量递增;其中，上游产品主要以激光电源及驱动、激光晶体、激光器原件为主;中游产品以半导体激光器、固体激光器、气体激光器和光纤激光器为主;下游产品主要有打标喷码、激光检测、激光医疗/美容居多，其次激光加工、激光切割、激光雕刻企业也有一定数量。 深圳：具备激光行业全产业链，从上游到下游，企业数量递增;整体看，深圳激光企业以下游企业为主，下游企业数量全国最多。其中，上游产品以激光器元件为主，其次也有部分激光灯、激光电源及驱动和激光晶体、设备及包装企业;中游产品以半导体激光器、光纤激光器和激光模块为主;下游产品种类丰富，以打标喷码、激光焊接、激光加工、激光切割、激光演示/展示企业为主。
3.3.3光学行业状况
上海、深圳、北京分列前三位，激光企业数量明显多于其他城市;前十名东部8席、西部1席、东北1席;除广东占据3席外，长三角3席，其余分布相对分散。
上海：具备光学行业全产业链，上中下游企业数量无明显差异;其中，上游产品光学材料/晶体、薄膜及镀膜产品为主;中游产品以光学元器件、光学镜片企业居多，其次光传感及光源、光学镜头、光学加工、光学设计也有一定数量的企业。下游产品显微镜及显微系统居多，其次光谱相关、眼视光学、相机相关、望远镜等也有一定数量的企业;
深圳：具备光学行业全产业链，中有企业居多，上下游企业数量差不多。其中，上游产品以薄膜及镀膜产品居多，其次光学材料/晶体、光学辅助、加工及镀膜设备镀膜材料企业也有一定数量;中游产品以光学镜头居多，其次光学镜片、光学元器件及光传感及光源企业也有一定数量;下游企业以摄像相关、显微镜及显微系统、光学检测企业为主。
3.3.4红外行业状况
北京、上海、深圳分列前三位，其中北京企业数量明显高于其他城市;前十名东部占据6席，西部占据3席，中部1席;前十名珠三角占据2席，长三角占据5席。
北京：具备红外行业全产业链，以下游企业为主，上游和中游企业不多;其中，上游产品涉及低温制冷、红外材料及红外灯;中游产品涉及红外光学系统、红外光学元件;下游产品涉及红外成像、红外检测、红外探测、红外医疗等。
上海：具备红外行业全产业链，以下游企业为主，上游和中游企业不多;其中，上游产品涉及低温制冷、红外材料及红外灯;中游产品涉及发射/接收装置、红外辐射材料、红外光学元件等;下游产品红外检测、红外成像、红外传感、红外探测等。
3.3.5光伏太阳能行业状况
北京、上海、深圳分列前三位;前十名东部9席、西部1席;长三角分布最为集中，占据7席。
北京：具备光伏行业全产业链，从上游到下游，企业数量逐步增多;其中，上游产品以制备加工设备居多;中游产品以太阳能电池组件和控制/电源及检测企业居多。下游产品太阳能照明居多，其次也有一定数量的光伏系统/产品及光热产品企业
上海：具备光伏行业全产业链，从上游到下游，企业数量无明显差别;其中，上游产品以制造加工设备及硅材料居多;中游产品以太阳能电池和硅棒/硅锭/硅片生产企业居多。下游产品以光伏系统/产品、光热产品、太阳能电池及太阳能照明企业为主。
3.3.6光显示行业状况
深圳、上海、苏州分列前三位，其中深圳企业数量远远高于其他城市，前十名全为东部发达城市（含香港）;珠三角占据3席，长三角占据4席。
深圳：具备光电显示行业全产业链，从上游到下游，企业数量逐步减少;其中，上游产品以辅料及耗材生产企业居多，其次驱动及控制IC、制造及检测设备企业数量也较多;中游产品以无尘洗净水处理、液晶模组（LCM）、LCD企业居多。下游产品触摸产品、投影机PDP产品、显示器/立体显示/拼接系统生产企业为主。
上海：具备光电显示行业全产业链，从上游到下游，企业数量逐步减少;其中上游产品以辅料及耗材、驱动及控制IC、制造及检测设备居多;中游产品以无尘洗净水处理居多。下游产品以显示器/立体显示系统、平板电视为主。
3.3.7光通信行业状况
深圳、上海、北京分列前三位，其中深圳企业数量远远高于其他城市，前十名东部占据9席，西部占据1席;前十名珠三角占据2席，长三角占据5席。
深圳：具备光电通信行业全产业链，以中游企业为主，上游和下游企业数量无明显差别;其中，上游产品以设备及辅料、光纤光缆为主;中游產品以连接/耦合器件、无源器件为主。下游产品以光网络设备、连接/传感/检测设备居多。
上海：具备光电通信行业全产业链，以中游企业为主，上游其次，下游企业相对较少;其中，上游产品以光纤光缆、设备及辅料为主;中游产品以无源器件、连接/耦合器件为主。下游产品以光传输设备、连接/传感/检测设备居多。
3.3.8光存储行业状况
整体来看，光存储行业企业数量较少;上海、深圳分列前两位，企业数量明显高于其他城市;
上海：以中游和下游企业为主，上游企业只有1家;其中，上游产品涉及激光头;中游产品涉及光盘母盘;下游产品涉及CD/VCD光盘。
深圳：下游企业多余下游企业，无中游企业;其中，上游产品涉及激光头;下游产品涉及CD/VCD光盘和CD/VCD机。
4结束语
随着光电子潜力的发掘，光电子产业逐步取代传统电子产业，科学家预言光电子产业将成为21世纪最大的产业，成为衡量一个国家经济发展和综合国力的重要标志。
珠三角、长三角和北京市三大区域是光电子企业分布最为集中的区域;深圳市在光电子八大行业中企业数量都排前三，整体企业数量优势明显;长三角以上海市为核心、苏州、杭州、南京等均为光电子企业分布密集城市;珠三角以深圳市为核心，广州、东莞等灯饰光电子分布也较为密集;台湾LED行业和光电显示行业的芯片生产企业数也较多。
云南为紧紧抓住和把握光电子行业发展的机遇和挑战，一方面做好珠三角、长三角和发达地方的光电子产业转接工作;另一方面光电子产业作为“绿色能源”产业，既要吸引人才，又要从“绿色能源”“绿色食品”、“健康生活目的地”这三张牌出发，让“绿色”成为云南产业转型升级、经济高质量发展的基本底色。
（作者单位：云南省设计院集团有限公司）
关键词：网络爬虫，中国光电子行业分布特征;规划研究
1项目背景
光电子产业是21世纪的支柱产业，光电子技术不仅全面继承兼容电子技术，而且具有微电子无法比拟的优越性能和更广阔的应用范围。光电子学和光电子技术在信息、能源、材料、航空航天、生命科学及国防军事领域中得到广泛应用。在国家实施“一带一路”战略的指引下，随着东部产业转移，新一轮科技革命和产业变革兴起与经济发展方式转变，光电子技术产业被国家列为战略性新兴产业。
本文着重介绍第一小组研究方法，规划师在遵守网络道德和爬虫协议（Robots）下，利用网络爬取技术，对国内光电子信息网页进行数据收集、分析、整理，并提出国内光电子行业分布特征，为所做玉溪光电子产业园的发展方向和重点、规划思路和目标提供支撑，也进一步引导省内外光电子产业重点企业向园区集聚，形成拳头力量，有效拓展玉溪市乃至云南省光电子产业领域，实现产业升级。
2爬取目标导向和路径
据工信部发布《中国光电子器件产业技术发展路线图（2018-2022年）》，国家将光电子产业纳入国家发展战略，大力支持光电子产业发展，同时国家加大对光电子芯片共性关键技术的研发资金的支持，迅速提高核心器件国产化率，培育具有国际竞争力大企业等。2018年4月26日，国家信息光电子创新中心在武汉烽火科技集团正式挂牌成立。承载着解决我国信息光电子制造业“关键和共性技术协同研发，实现首次商业化”的战略任务。
目标导向有三项：一是摸清中国光电子整体发展情况？二是中国光电子8个行业状况？三是对于中西部典型地区光电子行业状况是什么？
爬取路径：选择爬虫、爬取框架、源数据分析处理、IP拦截处理、成果。
3数据分析与成果
3.1数据挖掘技术
通过脚本编程、Web前端、网络通信、爬虫框架、网页解析、数据库、分布式部署七项构建技术规则。选择python按照上述规则去抓取网站上设定的有价值信息，并按8类行业门类，从上、中、下游产业分别所处城市里企业进行分析。详见图1 技术规则代码实现模型构建。
3.2源数据分析
选择EXECL工具，从编号、行业类型、产业链、产业类型、分布省份（填写省份全名）、所在城市（具体到地级市名称，直辖市直接填写直辖市名称，不需具体到区县、"是否省会城市或教育、科技、经济发达城市"）、属区域（东部、中部、西部、东北）、公司名称、详细信息共8个方面进行挖掘。
遇到多次访问后IP被网站防火墙拦截，禁止访问，部分页面内容利用Ajax技术异步加载，解析值为空，研究小组使用Selenium+webdrive扩展包实现模拟浏览器，获取动态数据，IP代理转发、动态IP，从而对持续对网络信息进行挖掘。
3.3分析结论
（1）截止2018年底，全国光电子行业分八大行业，共计8746家企业。（O）LED行业企业数量最多，占比29%;其次激光、光学行业企业数量分列二、三位，分别占比22%和18%。红外行业和光存储行业企业数量较少。东部地区企业占比达82%，中部和西部企业数量差别不大，从小范围来看，东北和台湾企业分布较为集中。
发现北上广深四大一线城市在其中所占市场份额是最大。详见如下八个行业状况：
3.3.1（O）LED行业状况
据LED行业上中下游企业地域分布统计表反映出，不论是上游中游还是下游，东部地区企业数量均有绝对优势。其中（O）LED行业上游呈现芯片生产、辅料及设备企业较多;其次外延材料和发光材料企业也较多。（O）LED行业中游呈现封装模块/光源、LED器件企业数量较多，其次驱动IC/控制及电源及封装材料企业数量也较多。（O）LED行业下游呈现LED显示、景观灯饰、半导体照明企业数量较多。
北上广深四大一线城市加上东莞LED企业数量排前五;深圳LED企业数量遥遥领先;前十名中，珠三角城市占4个，长三角城市占3个。分析“LED行业企业数量前十名城市，分别是深圳936个、上海157个、北京149个、东莞126个、广州112个、中山94个、杭州58个、杭州58个、宁波53个、厦门49个和苏州44个。
深圳：具备LED全产业链，企业数量在全国范围内遥遥领先，中下游企业数量明显多于上游企业数量;其中，上游产品以辅料及设备、以及芯片企业居多;
中游产品主要以LED器件、封装模块/光源企业为主，其次封装材料、封装机检测企业也较多;下游产品主要有LED显示、景观灯饰为主，其次LED背光源、报道提照明企业数量也较多。
上海：具备LED全产业链，企业数量下游企业多于中游企业，上游企业数量相对较少;其中，上游产品以辅料及设备、发光材料、外延材料、以及芯片企业为主;中游产品主要以封装模块、驱动IC/控制企业居多;下游产品主要以景观灯饰和半导体照明企业居多
3.3.2激光行业状况
北京、深圳、上海、武汉分列前四位，激光企业数量明显多于其他城市;前十名东部7席、西部2席、中部1席，除广东占据三席外，其余整体分布相对分散。
北京：具备激光行业全产业链，从上游到下游，企业数量递增;其中，上游产品主要以激光电源及驱动、激光晶体、激光器原件为主;中游产品以半导体激光器、固体激光器、气体激光器和光纤激光器为主;下游产品主要有打标喷码、激光检测、激光医疗/美容居多，其次激光加工、激光切割、激光雕刻企业也有一定数量。 深圳：具备激光行业全产业链，从上游到下游，企业数量递增;整体看，深圳激光企业以下游企业为主，下游企业数量全国最多。其中，上游产品以激光器元件为主，其次也有部分激光灯、激光电源及驱动和激光晶体、设备及包装企业;中游产品以半导体激光器、光纤激光器和激光模块为主;下游产品种类丰富，以打标喷码、激光焊接、激光加工、激光切割、激光演示/展示企业为主。
3.3.3光学行业状况
上海、深圳、北京分列前三位，激光企业数量明显多于其他城市;前十名东部8席、西部1席、东北1席;除广东占据3席外，长三角3席，其余分布相对分散。
上海：具备光学行业全产业链，上中下游企业数量无明显差异;其中，上游产品光学材料/晶体、薄膜及镀膜产品为主;中游产品以光学元器件、光学镜片企业居多，其次光传感及光源、光学镜头、光学加工、光学设计也有一定数量的企业。下游产品显微镜及显微系统居多，其次光谱相关、眼视光学、相机相关、望远镜等也有一定数量的企业;
深圳：具备光学行业全产业链，中有企业居多，上下游企业数量差不多。其中，上游产品以薄膜及镀膜产品居多，其次光学材料/晶体、光学辅助、加工及镀膜设备镀膜材料企业也有一定数量;中游产品以光学镜头居多，其次光学镜片、光学元器件及光传感及光源企业也有一定数量;下游企业以摄像相关、显微镜及显微系统、光学检测企业为主。
3.3.4红外行业状况
北京、上海、深圳分列前三位，其中北京企业数量明显高于其他城市;前十名东部占据6席，西部占据3席，中部1席;前十名珠三角占据2席，长三角占据5席。
北京：具备红外行业全产业链，以下游企业为主，上游和中游企业不多;其中，上游产品涉及低温制冷、红外材料及红外灯;中游产品涉及红外光学系统、红外光学元件;下游产品涉及红外成像、红外检测、红外探测、红外医疗等。
上海：具备红外行业全产业链，以下游企业为主，上游和中游企业不多;其中，上游产品涉及低温制冷、红外材料及红外灯;中游产品涉及发射/接收装置、红外辐射材料、红外光学元件等;下游产品红外检测、红外成像、红外传感、红外探测等。
3.3.5光伏太阳能行业状况
北京、上海、深圳分列前三位;前十名东部9席、西部1席;长三角分布最为集中，占据7席。
北京：具备光伏行业全产业链，从上游到下游，企业数量逐步增多;其中，上游产品以制备加工设备居多;中游产品以太阳能电池组件和控制/电源及检测企业居多。下游产品太阳能照明居多，其次也有一定数量的光伏系统/产品及光热产品企业
上海：具备光伏行业全产业链，从上游到下游，企业数量无明显差别;其中，上游产品以制造加工设备及硅材料居多;中游产品以太阳能电池和硅棒/硅锭/硅片生产企业居多。下游产品以光伏系统/产品、光热产品、太阳能电池及太阳能照明企业为主。
3.3.6光显示行业状况
深圳、上海、苏州分列前三位，其中深圳企业数量远远高于其他城市，前十名全为东部发达城市（含香港）;珠三角占据3席，长三角占据4席。
深圳：具备光电显示行业全产业链，从上游到下游，企业数量逐步减少;其中，上游产品以辅料及耗材生产企业居多，其次驱动及控制IC、制造及检测设备企业数量也较多;中游产品以无尘洗净水处理、液晶模组（LCM）、LCD企业居多。下游产品触摸产品、投影机PDP产品、显示器/立体显示/拼接系统生产企业为主。
上海：具备光电显示行业全产业链，从上游到下游，企业数量逐步减少;其中上游产品以辅料及耗材、驱动及控制IC、制造及检测设备居多;中游产品以无尘洗净水处理居多。下游产品以显示器/立体显示系统、平板电视为主。
3.3.7光通信行业状况
深圳、上海、北京分列前三位，其中深圳企业数量远远高于其他城市，前十名东部占据9席，西部占据1席;前十名珠三角占据2席，长三角占据5席。
深圳：具备光电通信行业全产业链，以中游企业为主，上游和下游企业数量无明显差别;其中，上游产品以设备及辅料、光纤光缆为主;中游產品以连接/耦合器件、无源器件为主。下游产品以光网络设备、连接/传感/检测设备居多。
上海：具备光电通信行业全产业链，以中游企业为主，上游其次，下游企业相对较少;其中，上游产品以光纤光缆、设备及辅料为主;中游产品以无源器件、连接/耦合器件为主。下游产品以光传输设备、连接/传感/检测设备居多。
3.3.8光存储行业状况
整体来看，光存储行业企业数量较少;上海、深圳分列前两位，企业数量明显高于其他城市;
上海：以中游和下游企业为主，上游企业只有1家;其中，上游产品涉及激光头;中游产品涉及光盘母盘;下游产品涉及CD/VCD光盘。
深圳：下游企业多余下游企业，无中游企业;其中，上游产品涉及激光头;下游产品涉及CD/VCD光盘和CD/VCD机。
4结束语
随着光电子潜力的发掘，光电子产业逐步取代传统电子产业，科学家预言光电子产业将成为21世纪最大的产业，成为衡量一个国家经济发展和综合国力的重要标志。
珠三角、长三角和北京市三大区域是光电子企业分布最为集中的区域;深圳市在光电子八大行业中企业数量都排前三，整体企业数量优势明显;长三角以上海市为核心、苏州、杭州、南京等均为光电子企业分布密集城市;珠三角以深圳市为核心，广州、东莞等灯饰光电子分布也较为密集;台湾LED行业和光电显示行业的芯片生产企业数也较多。
云南为紧紧抓住和把握光电子行业发展的机遇和挑战，一方面做好珠三角、长三角和发达地方的光电子产业转接工作;另一方面光电子产业作为“绿色能源”产业，既要吸引人才，又要从“绿色能源”“绿色食品”、“健康生活目的地”这三张牌出发，让“绿色”成为云南产业转型升级、经济高质量发展的基本底色。
（作者单位：云南省设计院集团有限公司）