MoiaControl-V5安装手册

本文遵循BY-SA版权协议，转载请附上原文出处链接。


本文作者: 黑伴白

本文链接: http://heibanbai.com.cn/posts/566ecd7f/

简介

MoiaControlV5是北京先进数通信息技术股份公司自主研发的一款企业级调度产品，在业界具有良好的口碑和市场，MoiaControl定位于企业统一调度管理平台。致力于为企业的批处理作业制定统一的开发规范、运维方法，对各系统的批量作业进行统一管理、调度和监控。在多个行业积累了大量用户，拥有众多的成功案例。在产品的容错、高可用、异常处理机制等方面积累了丰富的经验.

如有需要请留言~~

本文主要介绍MoiaControl V5环境的安装部署

部署示意图

image-20230112140432104

服务器配置要求

image-20230112140817385

软件环境

Moia Control安装运行支持的操作系统包括：:

  • Red Hat 5 ~ 7

  • CentOS 5 ~ 7

  • SUSE Linux 10、11

  • AIX 5、6（执行节点）

  • Windows（执行节点）

服务器端，需要开放或安装以下系统环境：

  • Red Hat/CentOS/SUSE：sar、dmesg、uname、stdbuf、glibc 2.2.5（运行库）

  • AIX：cc、bootinfo、vmstat、oslevel、ping、uname

  • Windows：jdk

  • WEB端，需要安装JDK1.6~1.8 版本

数据库

  • Oracle 10g ~ ORACLE 19c

  • DB2 V9、DB2 V10

  • MYSQL 5.6

  • PostgreSQL 10.8

网络

服务器和客户端之间正常使用TCP/IP以及UDP通讯；调度Datastage并行作业需要机器之间开通rsh，且无密码访问。

源应用 –> 目标应用 默认端口 长/短连接
调度节点 –> 资料库 TCP:与数据库类型相关 长连接
调度节点间互相访问 TCP:57501 短连接
调度节点 –> 执行节点 TCP:57505 短连接
调度节点 –> zookeeper TCP:2181 长连接
执行节点(c 版本) –> 调度节点 TCP:57501 UDP:57502 短连接
执行节点(JAVA 版本) –> 调度节点 TCP:57501 短连接
zookeeper 节点间互相访问 TCP:2888、 3888 长连接
web 服务 –> 资料库 TCP:与数据库类型相关 长连接
web 服务 –> 调度节点 TCP:57501 短连接
浏览器 –> web 服务 TCP:8080（ tomcat） 长连接
接口调用 –> web 服务 TCP:22512、 22513 短连接

调度安装

zookeeper集群安装

如果调度安装单点，不使用多活高可用模式，则不用安装zookeeper集群，跳过此步即可

安装第一个调度节点时，若未使用zookeeper，或者新安装zookeeper，在安装分布式多调度节点时，必须完善zookeeper集群。

根据官方建议，zookeeper集群最佳个数为 2n+1，根据实际情况自行调整。

可独立下载zookeeper安装包进行安装，也可使用MoiaControl安装包中的zookeeper进行安装。下面步骤按照3台服务器进行安装部署

服务器IP 安装目录 myid规划
199.188.111 /home/moia/ 1
199.188.112 /home/moia/ 2
199.188.113 /home/moia/ 3

修改配置文件

zookeeper部署后，3.5以后的版本，会自动占用8080端口，若有需要可自行修改配置文件

添加内容或者修改内容：admin.serverPort=8887

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 3台服务器均如此操作

cd /home/moia/zookeeper/conf
vi zoo.cfg

# 参考如下内容 根据实际情况进行修改 zk还有其他很多配置属性 根据情况进行增加
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/moia/zookeeper/data
clientPort=2181
maxClientCnxns=200
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=199.188.111:2888:3888
server.2=199.188.112:2888:3888
server.3=199.188.113:2888:3888

设置myid

1
2
3
4
5
6
7
8
9
10
11
12
cd /home/moia/zookeeper
mkdir data
cd data

# 上面操作3台服务器均一致

# 199.188.111服务器操作
echo "1">myid
# 199.188.112服务器操作
echo "2">myid
# 199.188.113服务器操作
echo "3">myid

启动zookeeper

1
2
cd /home/moia/zookeeper/bin
sh zkServer.sh start

Usage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

启动服务：sh zkServer.sh start

停止服务：sh zkServer.sh stop

查看状态：sh zkServer.sh status

启动第一台后查看状态是不正常的，因为遵循过半机制，当启动了第二台后查看状态将正常

安装调度节点

修改配置文件

1
2
3
# 解压安装包
cd /home/moiasrv
tar -zxvf MoiaControl.V5.10.003_Linux.x86_64_MYSQL.tar.gz

修改调度配置文件install.srv：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
#Server端安装配置文件,请不要随意删除
#本配置文件用于安装调度节点

#物理节点ip地址(不填则自动获取hostname对应ip)
#机器配置了多IP，则该项必须填写
IPADDR=199.188.166.111

#调度节点数据库home目录
DBHOME=/home/mysql/mysql8

#数据库用户及密码
#mysql/pg 数据库 moia@10.10.100.245:5432
MOIA_DBS=moia5@199.188.166.110:3306
MDB_USER=moia5
MDB_PWD=moia5
MOIATS=

#安装物理节点基本信息 PNODE_NAME不能和已有名称重复
PNODE_NAME=SCHEDUL_NODE
#事件服务端口
EVT_PORT=57501
#命令服务端口
CMD_PORT=57502

############ ZOOKEEPER 配置 ################
#安装双活节点必须选择 1，并填写zookeeper server的配置选项
#是否使用zookeeper 0 - 不使用, 1 - 使用已有zookeeper, 2 - 本机新安装
#安装双活节点,只能使用已有zookeeper
ZOOKEEPER_INST=1

#使用已有zookeeper配置连接server
ZOOKEEPER_SERVER=199.188.166.111:2181,199.188.166.112:2181,199.188.166.113:2181

执行安装

配置好install.srv文件后，执行sh install.sh -srv显示配置内容，确认无误后输入回车进行安装：

1
2
3
4
5
6
7
8
9
10
11
[moiasrv@localhost ~]$ sh install.sh -srv
 Your will install a master node:
        database home: /home/mysql/mysql8
            database : moia@199.188.166.110:3306
        database user: moia5
          pnode name : SCHEDUL_NODE
          event port : 57501
        command port : 57502
 Please make sure you configure information

Q - Quit; C or < cr > to continue:

安装第一台调度节点时，这里选择N进行安装，如果是安装MoiaControl双活调度节点则必须选择D，回车确认你的选择，然后开始安装：

注意：安装双活节点一定选择D，选择N会重新建表安装

1
2
3
4
5
6
7
8
9
10
[ Moia Control - Installation and Maintenance Utility ]


     =================================================================
               ---------------  N O T I C E  ---------------
     =================================================================

     Choise install server pnode type ...

Install a new server or Distribute server: N - new server; D - Distribute server:

服务进程管理

1
2
3
4
5
6
7
8
9
10
11
# 激活环境变量
cd /home/moiasrv/
# 启动服务
startup.sh
# 停止服务
shutdown.sh
# 查看服务
# 方式1
lsmt
# 方式2
MSrvAdm -l

安装执行节点

修改配置文件

1
2
3
# 解压安装包
cd /home/moiaagt
tar -zxvf MoiaControl.V5.10.003_Linux.x86_64_MYSQL.tar.gz

修改调度配置文件install.agt：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#Agent安装配置文件,请不要随意删除
#本配置文件用于安装执行节点

#物理节点ip地址(不填则自动获取hostname对应ip)
#机器配置了多IP，则该项必须填写
IPADDR=199.188.166.114

#执行节点datastage home目录, 没有etl 留空
DSHOME=

#调度节点ip和端口,用于安装时通讯 填写任意一个调度节点均可
SRV_IP=199.188.166.111         #调度节点ip地址
SRV_PORT=57501               #调度节点事件端口

#安装物理节点基本信息 填写物理节点名字PNODE_NAME以及改物理节点上需要开通的各个服务所占用的端口号 物理节点名不能重复
PNODE_NAME=RUN_NODE
CLM_PORT=57505

执行安装

配置好install.agt文件后，执行sh install.sh -agt显示配置内容，确认无误后输入回车进行安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[moiaagt@localhost ~]$ sh install.sh -agt
PING 199.188.166.111 (199.188.166.111) 56(84) bytes of data.
64 bytes from 199.188.166.111: icmp_seq=1 ttl=64 time=0.071 ms

--- 199.188.166.111 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.071/0.071/0.071/0.000 ms
 Your will install an agent node:
      server node ip : 199.188.166.111
 server lisener port : 57501
          pnode name : RUN_NODE
         cluser port : 57505
 Please make sure you configure information

Q - Quit; C or < cr > to continue:

服务进程管理

1
2
3
4
5
6
7
8
# 激活环境变量
cd /home/moiaagt/
# 启动服务
startup.sh
# 停止服务
shutdown.sh
# 查看服务
lsmt

安装WEB服务

安装web服务端的机器必须安装有JDK

安装包MoiaControl_Web_Server_5.10.003.zip已经包含了tomcat，解压修改配置即可，如果使用其他版本tomcat或其他web容器，可单独下载war包进行部署

本示例为tomcat操作，其他web容器根据实际情况执行

修改配置信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 解压web安装包
cd /home/moiaweb/
tar -zxvf MoiaControl_Web_Server_5.10.003.zip

# 修改配置文件
cd /home/moiaweb/MoiaControl/webapps
vi MoiaControl.war
# 搜索WEB-INF/classes/config.properties文件编辑修改数据库连接信息
#mysql示例
hibernate.dialect=org.hibernate.dialect.MySQLDialect
dataSource.driverClassName=com.mysql.jdbc.Driver
dataSource.url=jdbc:mysql://199.188.166.110:3306/moia5?characterEncoding=UTF-8
dataSource.default.schema=moia5
dataSource.username=moia5
dataSource.password=moia5
dataSource.houseKeepingTestSql=select 1 from dual

启动服务

1
2
cd /home/moiaweb/MoiaControl/bin
sh startup.sh

停止服务

1
2
cd /home/moiaweb/MoiaControl/bin
sh shutdown.sh

蚂蚁🐜再小也是肉🥩！

MoiaControl > MoiaControl V5
#MoiaControl
MoiaControl-V5安装手册
http://heibanbai.com.cn/posts/566ecd7f/
作者
黑伴白
发布于
2023年1月12日
许可协议

“您的支持，我的动力！觉得不错的话，给点打赏吧 ୧(๑•̀⌄•́๑)૭”

微信二维码

微信支付

支付宝二维码

支付宝支付