Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

同步到targetdb的schema和sourcedb的schema一样? #1

Open
Alvin1128 opened this issue Oct 27, 2017 · 2 comments
Open

同步到targetdb的schema和sourcedb的schema一样? #1

Alvin1128 opened this issue Oct 27, 2017 · 2 comments

Comments

@Alvin1128
Copy link

我们公司生产环境数据库做了分库操作,db1,db2,db3 ... 每个库中的表结构一样,
现在为了方便做报表 想将所有db数据汇总到一个db,这个sink同步到targetdb的数据和sourcedb数据是一样吗?同步实现这里可以自定义吗?

@FreeSlaver
Copy link
Owner

来了来了,不好意思,自己没watching,没收到通知。

  1. 数据结构是一样的
    我们做的这个东西和你这个正好相反,是将总db分库到db1,db2这样。
  2. 同步实现可以自定义
    这个程序简单来说就是:通过maxwell读取binlog输出到kafka,然后用kafka connector消费,将json格式的消息转换为SQL语句插入到mysql中。目前问题还是很多的。

如果还有什么问题,或者需要添加的功能,可以加我QQ:504252262。
目前刚好也比较闲。

@Alvin1128
Copy link
Author

感谢回复~
我们公司现在是要将kafka中数据同步到kudu中,准备扩展一个KuduWriter,希望能一起交流~

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants