MongoDB服务化及在网易游戏应用

来源 :2016第七届中国数据库技术大会 | 被引量 : 0次 | 上传用户:ncepuwade
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
MongoDB服务化目标:减轻项目DBA/SA的学习及配置成本,为每个使用MongoDB的项目提供标准化的服务,统一调配及资源整合降低人力及硬件成本。Ocean资源采用LXC半虚拟化解决方案,自己开发的Paas调度平台,确保每个shard的3个node来自不同机柜,资源通过cgroups划分,虚拟化资源消耗小,灵活扩展,理论上可以极端情况下可在线动态增加虚拟机的CPU、内存、硬盘、带宽资源。
其他文献
SAP HANA Vora内置于Apache Spark执行架构之中,是一款内存计算查询引擎,能够基于Hadoop提供丰富的交互式分析体验。SAP HANA-Apache Spark Adapter可用于提高分布式系统连接的性能,编译查询可以提高应用和数据分析在各节点的运行效率,基于Hadoop的OLAP体验非常常见,可用于从大数据中挖掘业务洞察,比如向下钻取日DFS数据。
本文阐述Cassandra系统改进,包括数据可靠性、数据分配策略、EraserCode。Storm系统改进,包括大文件缓存、应用Jar包P2P分发。
本文介绍Oracle数据库性能优化,减少延时,增加CPU计算能力,减少网络请求延迟,减少I/O请求延迟,减少资源需求,增加资源,分散资源请求。
Stream CQL(Stream Continuous Query Language)是华为开源的实时流处理的SQL引擎,它的做法是把StreamCQL->Storm Topology,Stream CQL的语法和标准的SQL或是HQL很类似,它支持实时处理的窗口函数。JStorm是阿里开源的实时计算引擎,API上兼容Storm,内核使用Java编写,平台整体应向Jstorm迁移,关注Spark
本文阐述了在线学习在广告中的应用技术,包括CTR预估、批量学习、在线稀疏模型、在线模型:贝叶斯派、大规模学习解决方案等。
大数据技术应用于IT运维,通过数据分析提升IT运维效率,对日志实时搜索、分析,日志从产生到搜索分析出结果只有几秒的延时,每天处理TB级的日志量,Google for IT,可搜索、分析任何日志。
本文介绍曾经的MySQL HA方案,提出如何防止脑裂和数据丢失的方法,实现方式的选择,介绍基于Pacemaker实现MySQL HA,双节点零数据丢失HA方案。
本文介绍数据库查询优化器实现技术解密,包括查询优化器的构造、从拆卸到重新组装、优化计算、主流数据库对比。
介绍利用Docker构建自动化运维平台,包括平台生态圈、基础容器、容器的编排和调度、Ansible、测试环境与线上环境、Web网站的代码同步、监控体系、服务自愈等。
本文探讨选择的悖论—十年DBA成长路反思,包括职业规划、跳槽还是坚守、技术还是管理、专还是广、工作还是生活。