canal_mysql_elasticsearch_sync

基于 canal 的 Mysql 与 Elasticsearch 实时同步的 javaweb 服务。
canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。canal传送门

工作原理

暴露Http接口（接口定义见wiki），待调用后开启后台进程，通过主键分批同步指定数据库中数据到Elasticsearch

读取数据库会加读锁
主键必须为数字类型

循环监听canal通过binlog同步过来的event事件，区别增删改进行与之对应的Elasticsearch的操作。

目前只解析了 insert、update、delete，其它数据库操作会被忽略

Mysql字段类型	Elasticsearch类型
char	{"type": "text", "fields": {"keyword": {"type": "keyword", "ignore_above": 256}}
text	{"type": "text", "fields": {"keyword": {"type": "keyword", "ignore_above": 256}}
blob	{"type": "text", "fields": {"keyword": {"type": "keyword", "ignore_above": 256}}
int	{"type": "long"}
date	{"type": "date"}
time	{"type": "date"}
float	{"type": "float"}
double	{"type": "float"}
decimal	{"type": "float"}
其它	{"type": "text", "fields": {"keyword": {"type": "keyword", "ignore_above": 256}}

如果有不合理的地方，还请不吝赐教。

支持记得star✨