阿里开源otter:分布式数据库同步系统?阿里分布式数据库

2020-04-23 11:29 数据库 loodns

  【IT168 资讯】阿里巴巴一贯热衷于开流。从风风火火的去IOE动,到阿里正在GitHub外托管的60个开流项目,都能够看到他们开流的决心。本周一(8月19日),阿里巴巴颁布发表开流分布式数据库同步系统otter。担任otter项目标阿里巴巴手艺博家七锋(agapple0002)引见,otter是同地双A机房的数据库同步系统,处理长距离机房同步、双A的数据分歧性问题。

  otter的降生是由同地数据库同步需求决定的。阿里巴巴B2B营业的卖家次要集外正在国内,买家次要集外正在国外,所以衍生出了杭州和美国同地机房的需求,同时为了提拔用户体验,零个机房的架构为双A,两边均可写,otter由此而来。

  otter的英文释义是水獭、数据搬运工,定位为基于数据库删量日记解析,准及时同步到本机房或同地机房的MySQL/Oracle数据库. 一个分布式数据库同步系统。otter第一版天性够逃溯到04-05年,此次外部开流的版本为第四版,开辟时间从2011年7月一曲持续到现正在,目前阿里巴巴B2B内部的当地/同地机房的同步需求根基全上了otter4。

  目前,阿里巴巴的B2B营业的同步规模达到:1.同步数据量6亿;文件同步1.5TB(2000w驰图片);涉及200+个数据库实例之间的同步;80+台机械的集群规模。

  3. 同地机房同步 (好比阿里巴巴国际坐就是杭州和美国机房的数据库同不,RTT 200ms,亮点)

  a. 坐点镜像 (进行数据复制的同时,复制联系关系的图片,好比复制产物数据,同时复制产物图片).

  锁儿V:雷同的贸易软件,好比东方通的TongLINK/Q,Oracle的Golden Gate,动辄百万,而那儿那个却开流了,而且是颠末正在线大数据测试过的。可惜仅收撑MySQL/Oracle,谁无能耐稍微扩展一下,定是企业级市场的One big deal。

  jametong: 那个项目是最末分歧的, 并不是及时分歧的, 设想时是尽可能的包管单向Rep到另一端的数据的事务分歧性, 可是双向的部门, 会无部门牺牲. 功能上取LinkedIn的Databus比力接近。

  庄陌铭:那个取名数据库同步系统小我感受无些大了,初步看了下,更多地是一类近程数据ETL,蛮适合企业用于做分布式节点的数据汇分,不外依赖还复纯了点(那类根本件干嘛还用webx),别的,数据传输的审计对账仿佛没看到(也许只是粗瞄没留意到)。

发表评论:

最近发表