基于oozie框架的某电商展示包段广告位效果数据报表的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:hionor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网时代的到来,互联网技术在不断促进着各个领域的发展。广告业就是其中之一,广告是为了更好的营销,为广告主带来收益。在很多场景下,公司都是通过报表的形式来反映广告的营销效果,为营销提供有力的数据支撑。本文探究的是怎样通过互联网技术更加高效地生成展示包段广告位效果数据报表。某电商想就展示包段类型的广告生成自动化效果数据报表,其中要包括广告基础数据,订单数据,广告位数据,媒体数据。由于数据维度过多,数据源也很复杂,怎样更加高效地自动化地生成报表是一个值得研究的问题。综合考虑业务情况,本文提出了以oozie为框架,运用pig、sqoop技术来解决问题。具体方案如下:以oozie做报表任务的调度和监控,以pig做数据流的处理,以sqoop做数据的转移,以最终生成mysql数据表作为产出。本方案依托oozie框架,oozie本身有较为完善的监控和调度系统,能够很好地监控和调度任务,另外,oozie兼容性很好,容许搭载多种语言。pig能够高效准确地处理数据,而sqoop也能够快速转移数据。以上,能有效地提升报表生成的效率以及自动化程度。本方案可以运用于有大数据依托的大型企业的报表系统。
其他文献
学位
学位
众所周知的全球性中低端制造行业产能过剩时代已经来临,各国、各地政府已经在有倾向性调整产业布局和推动产业升级。对于原有已经适应性了靠规模经济、靠成本优势生存的大多数制造型、特别是电子制造行业企业来讲,随着消费电子的更新换代加速,单一机种、多批量的产品需求明显减少,直接影响了原有的规模经济和范围经济模式。这种情况下,这些电子制造型企业迫切需求寻找新的增长点和优化原有的项目管理模式。以医疗项目为典型代表
学位
随着市场经济体制的不断健全和完善,市场竞争越来越激烈。尤其对中国的小企业,生存率低、生存周期短是其主要特点。商城如战场,小企业从创立到发展壮大到成长为大企业,其所经历的斗智斗勇的残酷程度不亚于战争。在这个过程中他们面临着各种各样的困难,采用什么方法理论来解决问题是关键。就如同中国革命之初,中国人民经过不断地摸索和尝试,在失败多次后才确立了以毛泽东思想为指导思想,最终取得了革命的成功。毛泽东思想是马
小学阶段对人才成长具有重要的作用,加之近年来国家对于农村教育的重视程度,对于农村教师来说,教师的专业发展变得尤为重要。而教师信念在教师专业发展的相关研究中属于重要的研究课题。在教学活动中,教师信念与教学行为能够有效的保障教师教学,教师持有什么样的教师信念将直接影响其教学行为。本研究参考国内外的相关研究,对农村小学数学教师的教师信念与教学行为进行研究,并结合相关的理论基础,以教师的任教意愿为中介媒体
趋向补语结构是汉语补语结构中使用频率较高的重要结构形式之一,但该语法点结构复杂、表意丰富,且在西班牙语中没有严格对应的结构形式,这导致西班牙语母语者在习得该结构时表现出一系列的问题、掌握该语法点的难度较大。本文以语言对比分析、偏误分析和中介语等理论为指导,通过收集和分析学生日常使用趋向补语过程中出现的偏误语句,发现学生习得趋向补语过程中出现的偏误问题。结合对出现问题的原因的分析,提出有针对性的改进
上海超日太阳能科技股份有限公司(以下简称超日太阳)连续三年亏损,被深圳证券交易所暂停上市。之后,由于超日太阳不能偿还债权人的到期债务且公司现有净资产不足以清偿所欠的全部债务,被债权人告上法庭,要求其破产重整。上海法院接受债权人申请,裁定超日太阳重整同时为其指定管理人,管理人为北京市金杜律师事务所上海分所和毕马威华振会计师事务所(特殊普通合伙)上海分所。本文在分析超日太阳债务重整的整个过程中,站在利
Methanobactins是一类由甲烷氧化菌产生的具有结合铜离子能力的天然产物。甲烷氧化菌是一种革兰氏阴性菌,以甲烷作为其碳和能量的来源。由于甲烷氧化菌具有消耗温室气体甲烷的特殊功能,近年来成为了人们研究的热点之一。Methanobactins对多数过渡态金属离子的具有强螯合活性,其中对铜离子的螯合常数可达~1021M-1,比已知的copper chaperon蛋白高几个数量级,使得methan
20世纪90年代以来,由于生态遭到破坏,环境受到污染,各国出于保护人类健康、提高生活质量以及保护生态环境的考虑,实施了一系列的政策措施。随着国际贸易的迅猛发展,这些措施逐渐成为了市场准入的壁垒。为了进一步推进国际贸易自由化,规范和协调各国技术法规的合理使用,《技术性贸易壁垒协定》(Agreement on Technical Barriers to Trade,以下简称《TBT 协定》)应运而生,