DMETL集群的配置方法
在实际工作中,为了提高数据装载的效率,我们可以采用集群的方式来运行DMETL。这里我们演示Dmetl使用一主多从的形式,配置主节点(172.10.10.203)和从节点(172.10.10.204),过程如下:
1.在所需配置的服务器上分别安装企业版的etl,需注意,所有集群etl需要共用一套元数据。可以在etl配置文件中设置,如下图,所有节点元数据配置一致,本例选择单独的外置dm7数据库:
2.Dmetl.ini中必须需要修改的参数,主节点从节点一致: 参数 说明 SERVER_TYPE 服务器节点类型, 1 为服务器;2 为主节点服务器; 3 为从节点服务器 主节点选2,从节点选3 MASTER_ADDRESS 需要修改为实际的主节点ip地址 MASTER_PORT 主节点端口号 MASTER_HEARTBEAT_ADDRESS 需要修改为实际的主节点ip地址 ENABLE_MULTICAST 此参数修改为1
3.启动服务,将从节点加入到集群中
开启etl服务,通过etl管理器连接到主节点,菜单栏中选择集群管理:
然后选择添加从节点,如下图,服务器ID可以直接获取:
添加成功后如下图:
4.转换中的集群配置:
在数据装载目的段选择集群配置,可以选择自动根据负载因子分配。也可以自定义,比如选择所有的节点:
如图可见,装载时两节点并行,并且实际速度比单节点会有明显提升。不过只对表装载起作用,对文件装载只能是单节点。
需要注意一点,所需要的其他配置文件或者数据源文件,如果选择集群自动方式时,需要保证每个服务器上都实际存在相关的文件。