您好,欢迎来到保捱科技网。
搜索
您的当前位置:首页干货分享之Dmetl集群配置

干货分享之Dmetl集群配置

来源:保捱科技网
DMETL集群的配置方法

在实际工作中,为了提高数据装载的效率,我们可以采用集群的方式来运行DMETL。这里我们演示Dmetl使用一主多从的形式,配置主节点(172.10.10.203)和从节点(172.10.10.204),过程如下:

1.在所需配置的服务器上分别安装企业版的etl,需注意,所有集群etl需要共用一套元数据。可以在etl配置文件中设置,如下图,所有节点元数据配置一致,本例选择单独的外置dm7数据库:

2.Dmetl.ini中必须需要修改的参数,主节点从节点一致: 参数 说明 SERVER_TYPE 服务器节点类型, 1 为服务器;2 为主节点服务器; 3 为从节点服务器 主节点选2,从节点选3 MASTER_ADDRESS 需要修改为实际的主节点ip地址 MASTER_PORT 主节点端口号 MASTER_HEARTBEAT_ADDRESS 需要修改为实际的主节点ip地址 ENABLE_MULTICAST 此参数修改为1

3.启动服务,将从节点加入到集群中

开启etl服务,通过etl管理器连接到主节点,菜单栏中选择集群管理:

然后选择添加从节点,如下图,服务器ID可以直接获取:

添加成功后如下图:

4.转换中的集群配置:

在数据装载目的段选择集群配置,可以选择自动根据负载因子分配。也可以自定义,比如选择所有的节点:

如图可见,装载时两节点并行,并且实际速度比单节点会有明显提升。不过只对表装载起作用,对文件装载只能是单节点。

需要注意一点,所需要的其他配置文件或者数据源文件,如果选择集群自动方式时,需要保证每个服务器上都实际存在相关的文件。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- baoaiwan.cn 版权所有 赣ICP备2024042794号-3

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务