代码拉取完成,页面将自动刷新
同步操作将从 夜行者/atomic-parent 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
一套基于Oozie调度引擎开发的大数据任务可视化编辑、运行与监控的调度管理平台,同时扩展了Oozie Action组件(支持更多丰富的action操作,如:jdbc、impala、elasticsearch、数据清洗、压缩、解压等等)。平台具备完善的权限管理和数据权限。
atomic-parent:
├─atomic-admin `(系统管理模块web)`
├─atomic-common `(业务核心模块)`
├─atomic-dubbo-api `(dubbo api模块)`
├─atomic-framework `(核心基础框架)`
├─atomic-generator `(自动代码生成器模块)`
├─atomic-module `(多功能模块)`
├─atomic-hadoop-common `(hadoop基础功能包)`
├─atomic-oozie `(oozie功能模块)`
├─atomic-tenant `(租户中心)`
├─atomic-scheduler `(调度策略模块)`
├─atomic-system `(后台管理模块)`
├─doc `(文档)`
admin/admin123
一、 大数据环境准备
Cloudera官网下载QuickStarts for CDH镜像,地址:https://www.cloudera.com/downloads/quickstart_vms/5-13.html。如图所示:
启动虚拟机后,先调整时区及时间:
> cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime -R
> 其他省略
- groupadd -g 1010 atomic
- useradd -u 1010 -g 1010 -d /home/atomic atomic
在centos桌面点击:【Configure Kerberos】图标,进行kerberos安装配置(确保网络正常)。
安装好后kadmin的账号(密码):cloudera/admin(cloudera)
点击桌面【Launch Cloudera Express】图标,等待完成后,执行如下命令:
> chkconfig mysqld off
> chkconfig krb5kdc off
> chkconfig kadmin off
> chkconfig cloudera-scm-server off
> chkconfig cloudera-scm-agent off
> 重启机器,开机后行执行如下命令:
> service mysqld start
> service krb5kdc start
> service kadmin start
> service cloudera-scm-server start
> service cloudera-scm-agent start
> 在CM界面中开启keberos认证...
登录CM(账号密码:admin/admin 或者 cloudera/cloudera),关闭和删除不需要的服务组件,处理报警信息。确保HDFS、Yarn、Oozie正常开启。
分别对HDFS和Oozie增加代理租户和时区配置
HDFS增加配置:
<property>
<name>hadoop.proxyuser.atomic.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.atomic.groups</name>
<value>*</value>
</property>
Oozie增加配置:
<property>
<name>oozie.processing.timezone</name>
<value>GMT+0800</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.oozie.hosts</name>
<value>*</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.oozie.groups</name>
<value>*</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.atomic.hosts</name>
<value>*</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.atomic.groups</name>
<value>*</value>
</property>
<property>
<name>oozie.use.system.libpath</name>
<value>*</value>
</property>
<property>
<name>oozie.action.max.output.data</name>
<value>204800</value>
</property>
<property>
<name>oozie.action.launcher.mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>oozie.authentication.kerberos.principal</name>
<value>*</value>
</property>
> kadmin.local -q "addprinc -randkey atomic"
> kadmin.local -q "xst -k /root/atomic.keytab atomic@CLOUDERA"
二、Atomic服务部署与配置
演示地址:
文档地址:
QQ:683706330
你们的支持是我最大的动力!
微信 | 支付宝 |
---|---|
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。