近两年,随着移动流量资费的下调与移动终端设备的普及,移动互联网技术在横向和纵向上得到了广泛的发展。移动互联网的用户呈指数性的激增的同时,移动互联网技术和产品也得到了纵深的发展。分析移动互联网上的用户有助于我们了解用户的行为、监测用户的变化。而传统的单机型的数据采集与分析技术已经无法满足暴涨的用户数据,面对这一新增的数据资源,使用基于云系统的Hadoop大数据分析技术是目前较为流行的的技术解决方案。在这样的背景下,本文以移动互联网上产生的大量视频用户数据为数据来源。面对如此大批量的数据资源,需要合理的存储技术与数据预处理技术,才能支持后续的数据查询与分析。数据的ETL是数据仓库构建的一个重要环节,是所有数据分析的基础,它主要进行数据的抽取、转换与清洗、数据加载,而要实现大批量数据的联机查询分析,本文采用维度建模方法对数据仓库进行设计。本文进行的主要工作如下:(1)详细分析说明了当前移动互联网用户产生的视频数据的现状,从大数据分析的角度对整个系统进行了需求分析与功能分析,完成了需求分析与技术选型的工作。(2)比较了传统的数据ETL技术与现今较为流行的几种数据ETL模式和技术框架,使用Python语言对Map Reduce框架进行了封装与开发,作为数据分布式ETL的主要编程与数据预处理框架;Hadoop是一种离线的大数据处理框架,选择Hadoop中的Map Reduce与HDFS为本系统的数据计算框架与存储,研究了HDFS的数据存储与Map Reduce编程框架原理。(3)设计并实现了数据的计算技术构架,包含数据层、计算层、接口层、执行层、应用层。以实际的数据流进行数据仓库的设计,采用维度建模方法对数据仓库进行设计,分析数据主题,最后从物理上对数据事实表和维度表进行设计。(4)完成了整个系统的设计与实现,最终系统能够上线运行进行数据计算分析,系统能够从大量的低价值密度的数据中完成对当前移动互联网用户的现状与制造业从业情况的相关计算分析。