kettle单实例环境下自身没有监控工具,但在集群下自带了监控工具。
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
一、集群自带的监控
kettle自带的集群监控工具可以监控转换的执行情况。
配置好集群后,打开浏览器:输入 http://localhost:8080,输入子服务器的用户名和密码

进入后,点击show status:

点击转换名称可以看到转换的详情:

该方式有三个缺点:
(1)无法监控job的执行情况。
(2)另外,如果一个转换不使用集群执行,也不会被监控。
(3)该监控的获取的数据来取内存,在关闭carte服务器后,数据消失,之前的监控信息丢失
综合以上信息,该监控并不能满足ETL需求,需要手动做监控程序。

二、自己开发kettle监控程序。
自己开发监控程序,原理是在转换和任务中设置log,执行情况会记录在日志中,通过读取日志情况判断执行情况。
2.1.在转换和任务中设置日志
转换:

一共有5种日志

a.转换日志
显示转换名称、开始时间、结束时间、执行状态等

b.步骤日志
显示步骤相关情况(集群下不写入该表)

c.运行日志
在默认日志级别下不没有数据(集群下不写入该表)
d.通道日志
各日志通道的输出情况(集群下不写入该表)

e.指标日志(略)
2.2 任务日志
作业:

日志:

a.作业日志表
保存作业的开始时间、结束时间、状态等

b.作业项日志表
作业中的项目运行情况

c.日志通道日志表

2.3 监控流程
2.3.1 从资源库读取job列表
select id_job,name from kettle_res.r_job a ;
2.3.2 读取job中的转换的执行状态、上次执行时间
select distinct a.id_job,a.name job_name,b.name trans_name,c.status trans_status,c.LOGDATE laste_exec_time
from kettle_res.r_job a left join kettle_res.r_jobentry b on a.id_job=b.id_job and b.id_jobentry_type=87
left join test.trans_logs c on b.name=SUBSTRING_INDEX(c.transname,'(',1)
and c.logdate= (select max(logdate) from test.trans_logs d where SUBSTRING_INDEX(d.transname,'(',1) =SUBSTRING_INDEX(c.transname,'(',1) group by SUBSTRING_INDEX(d.transname,'(',1) )
group by a.name order by a.id_job,b.id_jobentry
结果:

至此完成了最基本的监控。
2.3.2 job执行历史
select JOBNAME,status,LOGDATE from test.job_log where jobname=? order by LOGDATE desc
2.3.3 转换执行历史
select transname,status,logdate from test.trans_logs where SUBSTRING_INDEX(transname,'(',1)=? order by logdate desc
2.3.4 短信

在执行出错时可以发送邮件。


注意:看邮件提供商是否支持pop3/SMTP协议,是否需要使用SSL连接。
2.3.5 短信监控