flowback 亿级消息落库,低成本秒级百兆消息落库方案(单机秒级处理100M/s~300M/s)
亿级数据检索秒级响应,单机秒级落库处理20w+数据,集群可叠加性能
高压缩率的存储节省磁盘空间1GB数据只需要原来的80%~90%存储甚至更低
原本需要接收1GB的数据压缩后只需要200M来传递是原来的1/4,从而节省带宽
适用于大数据落库需求、网关日志收集、各类日志收集、物联网设备数据收集、游戏、app埋点数据收集、大量数据收集统计需求 等等..
Java 1.8
SpringBoot 2.2.6
Netty 4.1.23.Final
OHC (off-heap-cache)
Clickhouse
FastJsoN
Disruptor
cpu,内存使用率平稳,磁盘平均写入130M/s
持续8小时落库,堆整体使用率低平稳,堆使用仅有几百兆
符合稀疏索引的匹配规则下从16亿数据随意输入匹配条件耗时1s左右,表设计优秀速度更快
全新环境Centos7.9部署(自动安装docker,docker-compose)
docker & docker-compose 环境部署
Netty相关知识
京东秒级百G设计方案
京东秒级百G开源
https://gitee.com/jd-platform-opensource/jlog?_from=gitee_search
压缩算法对比
Clickhouse
OHC
IDEA
datagrip(数据库可视化工具 )
热爱开源,热爱编程。
感兴趣可以加wx一起做开源
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。