HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache 的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式
Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传 统数据库数据向HBase中迁移变的非常方便。
进入到当前目录
fig up -d && fig logs {namenode 节点启动较慢,需要二次启动}
测试snappy安装是否成功:
1 . 使用 CompressionTest 来查看snappy是否 enabled 并且能成功 loaded:
2 . 创建一章以snappy方式压缩的表来检查能否成功:
####初始化日志数据表
docker exec -u hdfs hbase_hb_1 bash -c "hbase shell < /data/hbase/hbase-init.rb"
docker exec -u hdfs hbase_rs_1 bash -c "hive -f /data/hbase/hive-init.sql"
#在hbase插入一条数据,hive查询数据同步增加 #>hbase shell #>put 'hive_hbase_log',1, 'log:full', '100' #>scan ‘hive_hbase_log'
hbase+hive示例
从容器内拷贝文件到主机上 docker cp :/file/path/within/container /host/path/target 从主机上拷贝文件到容器内 1.用-v挂载主机数据卷到容器内 2.直接在主机上拷贝到容器物理存储系统 $ sudo cp path-file-host /var/lib/docker/aufs/mnt/FULL_CONTAINER_ID/PATH-NEW-FILE 或者 $ sudo cp path-file-host /var/lib/docker/devicemapper/mnt/123abc<>/rootfs/root 3.用输入输出符 docker exec -it <container_id> bash -c 'cat > /path/to/container/file' < /path/to/host/file/
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。