论文部分内容阅读
摘要：移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 《数字宇宙》（Digital Universe）研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，而中国的数据量则会在2020年超过8ZB，数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区（不含日本）最新关于大数据和分析（BDA）領域的市场研究表明，大数据技术和服务市场规模未来5年的复合增长率达到34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。
关键词：大数据；高校；实验室
在中国以Hadoop、Spark、storm、数据库一体机以及内存计算技术为代表的大数据相关技术，从互联网企业，到电信、金融、政府这样的传统行业都在大规模应用，特别互联网公司利用大数据进行大数据云存储、大数据分析和深度学习，应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析。
目前，在我国高校的专业设置上与大数据分析和服务实验相关的学科专业包括：计算机科学与技术、软件工程、网络工程、信息与计算科学、信息管理与信息系统、统计学等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程，除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等，都无法在我国高校现有的实验室中完成。因此，建设专门的大数据实验室就显得非常重要。
一、大数据实验室建设目标
大数据实验室的建设目标全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。具体目标如下：
1、搭建大数据运行的基础环境，提供大数据专业课件，满足高校教师大数据的学习环境；
2、满足高校大数据相关课程的实验的要求，学生可以通过大数据实验室结合理论教学进行大数据相关实验；
3、搭建与企业大数据的实验与科研环境，将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中，提升学生的动手操作和项目实践能力，使得学生所学与企业项目人才需求，满足学生大数据实训、利用大数据实验环境进行创新创业和科研需要，为学生走向社会奠定扎实基础；
4、建设大数据实验室，真正在产业、学校、科研及实际项目中相互配合，发挥优势，形成生产、学习、科学研究、实践运用的系统运作模式；教师可以在开放的平台环境下开展大数据科研工作，提升教师的科研创新能力，充分提高“研”的成效。
二、大数据平台介绍
1、大数据平台目的
随着互联网、移动互联网、云计算、企业级软件的快速发展，企业数据量已呈几何倍数增长，数据库、日志、点击、传感器等多结构数据的数据量级远远超过了传统数据库和分析解决方案的能力范畴，由此引发的一系列问题正挑战着传统IT技术和架构。企业数据处理面临着如下挑战：
（1）、如何将企业非结构化和结构化数据统一、整合，发现数据中的价值；
（2）、如何实现跨业务平台数据的关联与整合；
（3）、如何对企业不断变化的数据进行实时有效的分析提供支持，以便迅速应对不断变化的市场形势；
（4）、如何将不断产生的海量数据应用到企业战略决策的制定层面上来，为实现数据驱动决策提供基础平台。
如何快速有效地处理这样复杂的海量数据，从而为企业创造价值，已成为一个焦点。传统的“ I.O.E”架构无疑给企业的IT成本带来了巨大的压力，而且随着数据量的激增，收效甚微。面对这样的问题，高适用性的企业级大数据平台需求尤为明显，为各行业提供新一代的大数据解决方案和数据分析产品奠定基础，从而提升企业的数据运营能力，并进一步推动企业科学利用数据发掘新的业务价值。
2、大数据平台价值
大数据平台从政府及企业的全局出发，以整合政府及企业各方面资源为重点，通过基础信息与共享平台的建设，强化了行业和政府部门信息资源的有机结合和高效利用，避免了重复建设和资源浪费。同时，平台结合云计算、社交网络、爬虫等先进技术和理念，紧扣政府和企业的数据处理需求，形成了海量信息智能整合处理的新型数据开放平台。
2.1安全可靠的海量信息存储，多样化数据处理能力
大数据平台的高可用性和低硬件要求，可以有效利用企业当前现有资源，构建一个安全可靠的海量数据存储平台。数据即为财富，文本、视频、音频和社交媒体数据等一系列数据，通过大数据平台的处理，将真正成为能为我们所用、为我们创造价值的资源。
2.2跨部门的资源共享与应用更加方便
通过大数据平台，政府和企业各部门之间的数据与信息共享将变得更加便捷。将各部门的应用或数据仓库接入到平台之中，通过平台的数据整合层，可实现不同应用间的信息整合、共享和业务协同，从而极大地提高政府和企业的工作效率和用户服务水平。
2.3无限制、低成本扩展，降低信息化建设成本
大数据平台的完全分布式架构意味着政府和企业可以按需投入，在未来的N年中，政府和企业可以在不改变原有软件的前提下，把服务集群从最少的8个节点扩展到几千台服务器组成的大型机房，在硬件方面则可以随时选用市场主流的高性价比普通商用机，实现无限制、低成本扩展，降低信息化建设成本。
3、大数据平台核心优势
3.1一站式的企业级解决方案
通过提供数据存储、分布式计算、数据分析挖掘以及数据可视化的整套支持，解决了企业从GB到PB级数据处理遇到的各类问题。用户友好的管理界面提供了系统安装、集群配置、监控及预警等多方面的一站式支持。平台架构具有高可用性、快速故障恢复能力及数据自动检测和修复的容错功能，整个系统基于Hadoop 2.X的HA功能和优化，确保了整个大数据处理系统的高可用性。
3.2与数据生态系统无缝整合
与现有Oracle、SQLServer、DB2、MySQL等数据库无缝整合。传统关系型数据库的数据可以作为数据源直接接入到集群参与计算分析，并支持多种可视化及报表生成工具，包括Tableau、SAPBusiness Objects、Oracle OBIEE等，从而将数据的抽象类型转化为具体的可视化数据报表和数据展示，分析过的数据将使商业决策变得可视化、有方向性以及有据可寻，进而使基于大数据分析的商业决策更易被理解和接受。
3.3强大的数据分析能力
采用分布式内存计算引擎、交互SQL方式，使实时和交互式分析成为可能。支持R分析引擎，包含了与Hadoop平台的无缝衔接及高度优化的多种算法，可从大数据平台中高速处理数据。此外，还集成了大量的机器学习算法库，包含了聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。通过这些算法能够便捷且在短时间内分析出想要的数据模型，缩短了机器学习算法的研发时间，有助于把握住商业机会。
3.4超快的响应速度
支持实时的全文数据快速检索、高效的分词算法、精准的搜索匹配，采用全文检索技术与HBase大数据存储相结合并进行实时检索，能够快速检索出用户所需的信息。
3.5完整的SQL支持
支持交互式SQL统计和HiveQL、Impala、SparkSQL等SQL引擎。
通过大数据教学平台的建立，全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。满足高校教师大数据的 学习环境，学生可以通过大数据实验室结合理论教学进行大数据相关实验，提升学生的动手操作和项目实践能力，使得学生所学与企业项目人才需求，满足学生大数据实训、利用大数据实验环境进行创新创业和科研需要，为学生走向社会奠定扎实基础。建设大数据实验室，真正在产业、学校、科研及实际项目中相互配合，发挥优势，形成生产、学习、科学研究、实践运用的系统运作模式。
参考文献：
[1]《IDC数字宇宙报告》
[2]《传统IT存储架构的不足和缺陷》
关键词：大数据；高校；实验室
在中国以Hadoop、Spark、storm、数据库一体机以及内存计算技术为代表的大数据相关技术，从互联网企业，到电信、金融、政府这样的传统行业都在大规模应用，特别互联网公司利用大数据进行大数据云存储、大数据分析和深度学习，应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析。
目前，在我国高校的专业设置上与大数据分析和服务实验相关的学科专业包括：计算机科学与技术、软件工程、网络工程、信息与计算科学、信息管理与信息系统、统计学等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程，除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等，都无法在我国高校现有的实验室中完成。因此，建设专门的大数据实验室就显得非常重要。
一、大数据实验室建设目标
大数据实验室的建设目标全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。具体目标如下：
1、搭建大数据运行的基础环境，提供大数据专业课件，满足高校教师大数据的学习环境；
2、满足高校大数据相关课程的实验的要求，学生可以通过大数据实验室结合理论教学进行大数据相关实验；
3、搭建与企业大数据的实验与科研环境，将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中，提升学生的动手操作和项目实践能力，使得学生所学与企业项目人才需求，满足学生大数据实训、利用大数据实验环境进行创新创业和科研需要，为学生走向社会奠定扎实基础；
4、建设大数据实验室，真正在产业、学校、科研及实际项目中相互配合，发挥优势，形成生产、学习、科学研究、实践运用的系统运作模式；教师可以在开放的平台环境下开展大数据科研工作，提升教师的科研创新能力，充分提高“研”的成效。
二、大数据平台介绍
1、大数据平台目的
随着互联网、移动互联网、云计算、企业级软件的快速发展，企业数据量已呈几何倍数增长，数据库、日志、点击、传感器等多结构数据的数据量级远远超过了传统数据库和分析解决方案的能力范畴，由此引发的一系列问题正挑战着传统IT技术和架构。企业数据处理面临着如下挑战：
（1）、如何将企业非结构化和结构化数据统一、整合，发现数据中的价值；
（2）、如何实现跨业务平台数据的关联与整合；
（3）、如何对企业不断变化的数据进行实时有效的分析提供支持，以便迅速应对不断变化的市场形势；
（4）、如何将不断产生的海量数据应用到企业战略决策的制定层面上来，为实现数据驱动决策提供基础平台。
如何快速有效地处理这样复杂的海量数据，从而为企业创造价值，已成为一个焦点。传统的“ I.O.E”架构无疑给企业的IT成本带来了巨大的压力，而且随着数据量的激增，收效甚微。面对这样的问题，高适用性的企业级大数据平台需求尤为明显，为各行业提供新一代的大数据解决方案和数据分析产品奠定基础，从而提升企业的数据运营能力，并进一步推动企业科学利用数据发掘新的业务价值。
2、大数据平台价值
大数据平台从政府及企业的全局出发，以整合政府及企业各方面资源为重点，通过基础信息与共享平台的建设，强化了行业和政府部门信息资源的有机结合和高效利用，避免了重复建设和资源浪费。同时，平台结合云计算、社交网络、爬虫等先进技术和理念，紧扣政府和企业的数据处理需求，形成了海量信息智能整合处理的新型数据开放平台。
2.1安全可靠的海量信息存储，多样化数据处理能力
大数据平台的高可用性和低硬件要求，可以有效利用企业当前现有资源，构建一个安全可靠的海量数据存储平台。数据即为财富，文本、视频、音频和社交媒体数据等一系列数据，通过大数据平台的处理，将真正成为能为我们所用、为我们创造价值的资源。
2.2跨部门的资源共享与应用更加方便
通过大数据平台，政府和企业各部门之间的数据与信息共享将变得更加便捷。将各部门的应用或数据仓库接入到平台之中，通过平台的数据整合层，可实现不同应用间的信息整合、共享和业务协同，从而极大地提高政府和企业的工作效率和用户服务水平。
2.3无限制、低成本扩展，降低信息化建设成本
大数据平台的完全分布式架构意味着政府和企业可以按需投入，在未来的N年中，政府和企业可以在不改变原有软件的前提下，把服务集群从最少的8个节点扩展到几千台服务器组成的大型机房，在硬件方面则可以随时选用市场主流的高性价比普通商用机，实现无限制、低成本扩展，降低信息化建设成本。
3、大数据平台核心优势
3.1一站式的企业级解决方案
通过提供数据存储、分布式计算、数据分析挖掘以及数据可视化的整套支持，解决了企业从GB到PB级数据处理遇到的各类问题。用户友好的管理界面提供了系统安装、集群配置、监控及预警等多方面的一站式支持。平台架构具有高可用性、快速故障恢复能力及数据自动检测和修复的容错功能，整个系统基于Hadoop 2.X的HA功能和优化，确保了整个大数据处理系统的高可用性。
3.2与数据生态系统无缝整合
与现有Oracle、SQLServer、DB2、MySQL等数据库无缝整合。传统关系型数据库的数据可以作为数据源直接接入到集群参与计算分析，并支持多种可视化及报表生成工具，包括Tableau、SAPBusiness Objects、Oracle OBIEE等，从而将数据的抽象类型转化为具体的可视化数据报表和数据展示，分析过的数据将使商业决策变得可视化、有方向性以及有据可寻，进而使基于大数据分析的商业决策更易被理解和接受。
3.3强大的数据分析能力
采用分布式内存计算引擎、交互SQL方式，使实时和交互式分析成为可能。支持R分析引擎，包含了与Hadoop平台的无缝衔接及高度优化的多种算法，可从大数据平台中高速处理数据。此外，还集成了大量的机器学习算法库，包含了聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。通过这些算法能够便捷且在短时间内分析出想要的数据模型，缩短了机器学习算法的研发时间，有助于把握住商业机会。
3.4超快的响应速度
支持实时的全文数据快速检索、高效的分词算法、精准的搜索匹配，采用全文检索技术与HBase大数据存储相结合并进行实时检索，能够快速检索出用户所需的信息。
3.5完整的SQL支持
支持交互式SQL统计和HiveQL、Impala、SparkSQL等SQL引擎。
通过大数据教学平台的建立，全面落实“产、学、研、用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。满足高校教师大数据的 学习环境，学生可以通过大数据实验室结合理论教学进行大数据相关实验，提升学生的动手操作和项目实践能力，使得学生所学与企业项目人才需求，满足学生大数据实训、利用大数据实验环境进行创新创业和科研需要，为学生走向社会奠定扎实基础。建设大数据实验室，真正在产业、学校、科研及实际项目中相互配合，发挥优势，形成生产、学习、科学研究、实践运用的系统运作模式。
参考文献：
[1]《IDC数字宇宙报告》
[2]《传统IT存储架构的不足和缺陷》