Google发表论文展示新大数据系统Mesa
Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的分布于全球的数据仓库系统,它能 实时处理海量数据,即使在数据中心断线后还能正常工作。Google工程师将在下月于中国举行的超大型数据库会议上,提交一篇有关Mesa的论文。
本质上来说,Mesa是一个ACID式数据库(如果有人进行查询,就会得到相应数据),速度快,规模大,可靠性强。它被设计为处理与Google广告业务有关的需求 (服务内部用户,以及消费者的前端查询服务),但也能作为一般数据仓库系统,供其他用途。
Google早就拥有数据系统 Dremel,Facebook 和Twitter也拥有自己的系统,但Google 指出,这些系统一般只用作大容量数据装载,而不是像 Mesa那样即时处理数据。而且,目前的商业产品或产品系统均不能用来管理跨数据中心的重复数据,这些系统也并非基于云技术,灵活性也不强。它们对动态条款和资源置换的适应性也很弱,无法处理数据装载波动。