【摘 要】
：
eBay用户体验、搜索和平台副总裁休·威廉姆斯提供了几条如何利用Hadoop的建议。 1.提高Hadoop的利用效率。“如果组织中有很多人同时在使用某个Hadoop集群，他们很可能会做一些同样的事情。”威廉姆斯说，“这意味着他们很可能会产生相同的中间数据集来进行分析，这是一种浪费。” 他建议，更好的办法是早上执行一些通用的数据查询，并把结果保存在一个地方，任何人需要它们都可以访问，从而节省
论文部分内容阅读
eBay用户体验、搜索和平台副总裁休·威廉姆斯提供了几条如何利用Hadoop的建议。
1.提高Hadoop的利用效率。“如果组织中有很多人同时在使用某个Hadoop集群，他们很可能会做一些同样的事情。”威廉姆斯说，“这意味着他们很可能会产生相同的中间数据集来进行分析，这是一种浪费。”
他建议，更好的办法是早上执行一些通用的数据查询，并把结果保存在一个地方，任何人需要它们都可以访问，从而节省大量的处理时间及相关资源。“尽量先想想，哪些数据集对使用者是有用的，再为这些用户创建这些数据集。”
2.对Hadoop集群进行清理是日常维护中的一个关键工作。“这非常重要。”威廉姆斯说，“组织中可能会运行很多Hadoop作业，这样会生成大量的数据。不过，通常情况下，人们做完后，带上文件就一走了之。如果不及时清理，最后在系统中就会留下大量无用的Hadoop文件。”
“所以，你有必要创建一个策略，以保持您的Hadoop集群系统是干净的，不至于无谓地浪费磁盘空间。在大型的Hadoop集群系统中这一点尤为重要。”
其他文献
“由于数据量激增，靠传统技术不可能在很短的时间内从数据仓库里把需要的信息提炼出来。Netezza数据仓库设备正是抓住了这样的需求，将数据库、服务器和存储整合在一起，为用户提供简易快速的解决方案。”IBM Netezza亚太区市场营销总经理Timothy Young介绍说。Netezza的第一个卖点是速度，以前用户要花20小时找出一个答案，现在只需要20分钟；第二个卖点是操作简单，传统的数据仓库要有
由工业和信息化部（简称“工信部”）、国家发展与改革委员会、科技部、国家外国专家局和北京市人民政府五部委共同主办的中国国际软件博览会（以下简称“软博会”），今年已经走到第17个年头。展览、论坛、签约、交易是博览会的常规动作，观众已经耳熟能详。但惟有不断创新，软博会才能常办常新。 在今年的软博会上，由工信部电子科学技术情报研究所（简称“电子一所”）承办的“信息发布会”和“移动互联网产业创新发展论坛”
2008年底，重庆市启动了“聚焦软件外包——转危为机反周期特别行动”，并提出了“中国软件服务外包前沿城市”和“中国在岸外包的引擎”两大发展目标。决策之前，重庆市信息产业局局长沐华平和他的团队仔细研究了国际、国内的宏观经济形势—金融危机、产业转移、4万亿计划、扩内需、保增长等，无一不在他们的关注之列。对于两会上的《政府工作报告》，沐华平也保持了他对宏观大势一贯的高度关注，并做出了解读。 《计算机世
无论是在传统的硬件、软件领域，还是热门的云计算领域，甲骨文都希望集成设计的产品能够成为帮助企业加速发展以及提升竞争力和绩效的关键手段。 在2011甲骨文全球大会上，甲骨文推出了多项创新技术。日前，甲骨文创新技术全国巡展在中国多个城市上演，为国内用户全面解读Oracle数据库、中间件、集成系统以及应用软件等一系列最新的产品和技术。 甲骨文公司集团副总裁及大中华区董事总经理卢汝文表示，今后
工信部：将建立应用软件黑名单 本报讯 近日，工业和信息化部通信保障局发布的《关于在打击治理移动互联网恶意程序专项行动中做好应用商店安全检查工作的通知》（以下简称《通知》）中指出，应用商店应建立应用软件黑名单管理制度、黑名单申述机制，并积极推动黑名单信息行业内共享，要求各通信管理局要组织技术力量对本地区应用商店中的应用程序进行远程或现场抽检。 《通知》要求，在应用软件上架前，应用商店应自行或委托
金融危机时期，用户既要降低成本，又要提高效益。IT厂商如何向应对双重挑战？ 韩国三星信用卡公司拥有850万会员，设有110家分店，每天的结算金额达1000亿韩元。韩国三星信用卡原有的IT系统非常复杂，其IT人员每年仅仅大型机的维修费用就非常高。 而韩国三星信用卡公司IT系统从2007年8月开始从传统的大型机环境迁移到开放的HP Integrity动能系统后，韩国三星公司一年成本节省了50亿
像用电和水一样使用计算资源是人们的一个理想,而云计算恰恰可以充分地利用目前众多利用率比较低的计算资源。 当云计算风起云涌之时,让人们想起以了前IT企业宣传推广的不少概念,如网格等。因此,也有人在问,云计算会不会又是一个概念呢? 惠普亚太及日本区企业业务集团基础架构软件及刀片业务部副总裁兼总经理Aman Dokania在接受《计算机世界》记者采访时认为,应用在企业内部的云计算,由于不存在公共
本报讯（记者 宋辰）近日，阿里巴巴集团与美的集团宣布在IoT领域达成战略合作，同时发布首款基于YunOS智能操作系统打造的美的智能冰箱“OS集智”，这标志着双方共建全新智能家庭生活方式的深度合作全面启动。美的“OS集智”智能冰箱，采用多门设计，总容量达到325L，人机交互界面由一块10.1寸的显示屏组成。 目前“OS集智”可实现如智能控制、食材识别、智能称重、智能提醒、便捷采买、快捷支付、厨房娱
思想工作 关于自主创新,两会代表们讨论的重点虽然各不相同,但有一点毫无争议: 企业应当成为自主创新的主体。 两会IT界代表热议自主创新不是头一回。在中国经济从追求GDP增长“速度”转向“质量”的背景下,科学家、企业家们不约而同地追问自主创新,意义深远。关于自主创新的理解,来自外企、民企和国有这三种典型体制的代表,显然有着不同的侧重,好在他们有着惊人的一致: 企业应当成为自主创新的主体!
赖泰岳两度出山，两次功成名就。在他的带领下，Acer中国完成漂亮的翻身后，高歌猛进。而他却在此时选择急流勇退。他的国际视野和丰富经验，应该为IT产业的年轻后辈们好好传承。 “我这一阶段对公司的任务和承诺业已完成，可以回复到久违了的自然无扰生活。新的管理团队已然成型，我想该是我交棒的时候了。”3月9日，Acer全球副总裁暨中国事业群总经理赖泰岳在给员工的告别信中，宣布将辞去全球副总裁暨中国事业