MoiaControl-V5安装手册

本文遵循BY-SA版权协议,转载请附上原文出处链接。


本文作者: 黑伴白

本文链接: http://heibanbai.com.cn/posts/566ecd7f/

简介

MoiaControlV5是北京先进数通信息技术股份公司自主研发的一款企业级调度产品,在业界具有良好的口碑和市场,MoiaControl定位于企业统一调度管理平台。致力于为企业的批处理作业制定统一的开发规范、运维方法,对各系统的批量作业进行统一管理、调度和监控。在多个行业积累了大量用户,拥有众多的成功案例。在产品的容错、高可用、异常处理机制等方面积累了丰富的经验.

如有需要请留言~~

本文主要介绍MoiaControl V5环境的安装部署

部署示意图

image-20230112140432104

服务器配置要求

image-20230112140817385

软件环境

Moia Control安装运行支持的操作系统包括::

  • Red Hat 5 ~ 7

  • CentOS 5 ~ 7

  • SUSE Linux 10、11

  • AIX 5、6(执行节点)

  • Windows(执行节点)

服务器端,需要开放或安装以下系统环境:

  • Red Hat/CentOS/SUSE:sar、dmesg、uname、stdbuf、glibc 2.2.5(运行库)

  • AIX:cc、bootinfo、vmstat、oslevel、ping、uname

  • Windows:jdk

  • WEB端,需要安装JDK1.6~1.8 版本

数据库

  • Oracle 10g ~ ORACLE 19c

  • DB2 V9、DB2 V10

  • MYSQL 5.6

  • PostgreSQL 10.8

网络

服务器和客户端之间正常使用TCP/IP以及UDP通讯;调度Datastage并行作业需要机器之间开通rsh,且无密码访问。

源应用 –> 目标应用 默认端口 长/短连接
调度节点 –> 资料库 TCP:与数据库类型相关 长连接
调度节点间互相访问 TCP:57501 短连接
调度节点 –> 执行节点 TCP:57505 短连接
调度节点 –> zookeeper TCP:2181 长连接
执行节点(c 版本) –> 调度节点 TCP:57501 UDP:57502 短连接
执行节点(JAVA 版本) –> 调度节点 TCP:57501 短连接
zookeeper 节点间互相访问 TCP:2888、 3888 长连接
web 服务 –> 资料库 TCP:与数据库类型相关 长连接
web 服务 –> 调度节点 TCP:57501 短连接
浏览器 –> web 服务 TCP:8080( tomcat) 长连接
接口调用 –> web 服务 TCP:22512、 22513 短连接

调度安装

zookeeper集群安装

如果调度安装单点,不使用多活高可用模式,则不用安装zookeeper集群,跳过此步即可

安装第一个调度节点时,若未使用zookeeper,或者新安装zookeeper,在安装分布式多调度节点时,必须完善zookeeper集群。

根据官方建议,zookeeper集群最佳个数为 2n+1,根据实际情况自行调整。

可独立下载zookeeper安装包进行安装,也可使用MoiaControl安装包中的zookeeper进行安装。下面步骤按照3台服务器进行安装部署

服务器IP 安装目录 myid规划
199.188.111 /home/moia/ 1
199.188.112 /home/moia/ 2
199.188.113 /home/moia/ 3

修改配置文件

zookeeper部署后,3.5以后的版本,会自动占用8080端口,若有需要可自行修改配置文件

添加内容或者修改内容:admin.serverPort=8887

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 3台服务器均如此操作

cd /home/moia/zookeeper/conf
vi zoo.cfg

# 参考如下内容 根据实际情况进行修改 zk还有其他很多配置属性 根据情况进行增加
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/moia/zookeeper/data
clientPort=2181
maxClientCnxns=200
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=199.188.111:2888:3888
server.2=199.188.112:2888:3888
server.3=199.188.113:2888:3888

设置myid

1
2
3
4
5
6
7
8
9
10
11
12
cd /home/moia/zookeeper
mkdir data
cd data

# 上面操作3台服务器均一致

# 199.188.111服务器操作
echo "1">myid
# 199.188.112服务器操作
echo "2">myid
# 199.188.113服务器操作
echo "3">myid

启动zookeeper

1
2
cd /home/moia/zookeeper/bin
sh zkServer.sh start

Usage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

启动服务:sh zkServer.sh start

停止服务:sh zkServer.sh stop

查看状态:sh zkServer.sh status

启动第一台后查看状态是不正常的,因为遵循过半机制,当启动了第二台后查看状态将正常

安装调度节点

修改配置文件

1
2
3
# 解压安装包
cd /home/moiasrv
tar -zxvf MoiaControl.V5.10.003_Linux.x86_64_MYSQL.tar.gz

修改调度配置文件install.srv

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
#Server端安装配置文件,请不要随意删除
#本配置文件用于安装调度节点

#物理节点ip地址(不填则自动获取hostname对应ip)
#机器配置了多IP,则该项必须填写
IPADDR=199.188.166.111

#调度节点数据库home目录
DBHOME=/home/mysql/mysql8

#数据库用户及密码
#mysql/pg 数据库 moia@10.10.100.245:5432
MOIA_DBS=moia5@199.188.166.110:3306
MDB_USER=moia5
MDB_PWD=moia5
MOIATS=

#安装物理节点基本信息 PNODE_NAME不能和已有名称重复
PNODE_NAME=SCHEDUL_NODE
#事件服务端口
EVT_PORT=57501
#命令服务端口
CMD_PORT=57502

############ ZOOKEEPER 配置 ################
#安装双活节点必须选择 1,并填写zookeeper server的配置选项
#是否使用zookeeper 0 - 不使用, 1 - 使用已有zookeeper, 2 - 本机新安装
#安装双活节点,只能使用已有zookeeper
ZOOKEEPER_INST=1

#使用已有zookeeper配置连接server
ZOOKEEPER_SERVER=199.188.166.111:2181,199.188.166.112:2181,199.188.166.113:2181

执行安装

配置好install.srv文件后,执行sh install.sh -srv显示配置内容,确认无误后输入回车进行安装:

1
2
3
4
5
6
7
8
9
10
11
[moiasrv@localhost ~]$ sh install.sh -srv
Your will install a master node:
database home: /home/mysql/mysql8
database : moia@199.188.166.110:3306
database user: moia5
pnode name : SCHEDUL_NODE
event port : 57501
command port : 57502
Please make sure you configure information

Q - Quit; C or < cr > to continue:

安装第一台调度节点时,这里选择N进行安装,如果是安装MoiaControl双活调度节点则必须选择D,回车确认你的选择,然后开始安装:

注意:安装双活节点一定选择D,选择N会重新建表安装

1
2
3
4
5
6
7
8
9
10
[ Moia Control - Installation and Maintenance Utility ]


=================================================================
--------------- N O T I C E ---------------
=================================================================

Choise install server pnode type ...

Install a new server or Distribute server: N - new server; D - Distribute server:

服务进程管理

1
2
3
4
5
6
7
8
9
10
11
# 激活环境变量
cd /home/moiasrv/
# 启动服务
startup.sh
# 停止服务
shutdown.sh
# 查看服务
# 方式1
lsmt
# 方式2
MSrvAdm -l

安装执行节点

修改配置文件

1
2
3
# 解压安装包
cd /home/moiaagt
tar -zxvf MoiaControl.V5.10.003_Linux.x86_64_MYSQL.tar.gz

修改调度配置文件install.agt

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#Agent安装配置文件,请不要随意删除
#本配置文件用于安装执行节点

#物理节点ip地址(不填则自动获取hostname对应ip)
#机器配置了多IP,则该项必须填写
IPADDR=199.188.166.114

#执行节点datastage home目录, 没有etl 留空
DSHOME=

#调度节点ip和端口,用于安装时通讯 填写任意一个调度节点均可
SRV_IP=199.188.166.111 #调度节点ip地址
SRV_PORT=57501 #调度节点事件端口

#安装物理节点基本信息 填写物理节点名字PNODE_NAME以及改物理节点上需要开通的各个服务所占用的端口号 物理节点名不能重复
PNODE_NAME=RUN_NODE
CLM_PORT=57505

执行安装

配置好install.agt文件后,执行sh install.sh -agt显示配置内容,确认无误后输入回车进行安装:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[moiaagt@localhost ~]$ sh install.sh -agt
PING 199.188.166.111 (199.188.166.111) 56(84) bytes of data.
64 bytes from 199.188.166.111: icmp_seq=1 ttl=64 time=0.071 ms

--- 199.188.166.111 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.071/0.071/0.071/0.000 ms
Your will install an agent node:
server node ip : 199.188.166.111
server lisener port : 57501
pnode name : RUN_NODE
cluser port : 57505
Please make sure you configure information

Q - Quit; C or < cr > to continue:

服务进程管理

1
2
3
4
5
6
7
8
# 激活环境变量
cd /home/moiaagt/
# 启动服务
startup.sh
# 停止服务
shutdown.sh
# 查看服务
lsmt

安装WEB服务

安装web服务端的机器必须安装有JDK

安装包MoiaControl_Web_Server_5.10.003.zip已经包含了tomcat,解压修改配置即可,如果使用其他版本tomcat或其他web容器,可单独下载war包进行部署

本示例为tomcat操作,其他web容器根据实际情况执行

修改配置信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 解压web安装包
cd /home/moiaweb/
tar -zxvf MoiaControl_Web_Server_5.10.003.zip

# 修改配置文件
cd /home/moiaweb/MoiaControl/webapps
vi MoiaControl.war
# 搜索WEB-INF/classes/config.properties文件编辑修改数据库连接信息
#mysql示例
hibernate.dialect=org.hibernate.dialect.MySQLDialect
dataSource.driverClassName=com.mysql.jdbc.Driver
dataSource.url=jdbc:mysql://199.188.166.110:3306/moia5?characterEncoding=UTF-8
dataSource.default.schema=moia5
dataSource.username=moia5
dataSource.password=moia5
dataSource.houseKeepingTestSql=select 1 from dual

启动服务

1
2
cd /home/moiaweb/MoiaControl/bin
sh startup.sh

停止服务

1
2
cd /home/moiaweb/MoiaControl/bin
sh shutdown.sh

蚂蚁再小也是肉🥩!


MoiaControl-V5安装手册
http://heibanbai.com.cn/posts/566ecd7f/
作者
黑伴白
发布于
2023年1月12日
许可协议

“您的支持,我的动力!觉得不错的话,给点打赏吧 ୧(๑•̀⌄•́๑)૭”

微信二维码

微信支付

支付宝二维码

支付宝支付