Bootstrap

ORA-01033告警的乌龙事件

一、现象

如下日志所示,数据库出现ORA-01033: ORACLE 正在初始化或关闭报错,非常吓人,但数据库没有重启记录。

Thu Jun 09 02:35:23 2022
Thread 1 advanced to log sequence 7321 (LGWR switch)
  Current log# 9 seq# 7321 mem# 0: +XXSDG/XXsdb/onlinelog/group_9.268.975690667
  Current log# 9 seq# 7321 mem# 1: +ARCH1/XXsdb/onlinelog/group_9.265.975690675
Thu Jun 09 02:35:34 2022
LNS: Standby redo logfile selected for thread 1 sequence 7321 for destination LOG_ARCHIVE_DEST_2
Thu Jun 09 02:35:34 2022
Archived Log entry 28203 added for thread 1 sequence 7320 ID 0x760f4379 dest 1:
Thu Jun 09 03:15:00 2022
Errors in file /u01/app/oracle/diag/rdbms/XXsdb/XXsdb1/trace/XXsdb1_j000_66912938.trc:
ORA-12012: 自动执行作业 "DT"."TZB_JOB1" 出错
ORA-01033: ORACLE 正在初始化或关闭
ORA-02063: 紧接着 line (起自 DT_TO_DT)
ORA-06512: 在 line 4
进程 ID: 	
会话 ID: 0 序列号: 0
Thu Jun 09 09:07:01 2022
Thread 1 advanced to log sequence 7322 (LGWR switch)
  Current log# 10 seq# 7322 mem# 0: +XXSDG/XXsdb/onlinelog/group_10.269.975690873
  Current log# 10 seq# 7322 mem# 1: +ARCH1/XXsdb/onlinelog/group_10.266.975690881
Thu Jun 09 09:07:05 2022
LNS: Standby redo logfile selected for thread 1 sequence 7322 for destination LOG_ARCHIVE_DEST_2
Thu Jun 09 09:07:10 2022
Archived Log entry 28207 added for thread 1 sequence 7321 ID 0x760f4379 dest 1:
Thu Jun 09 12:08:29 2022
Global Enqueue Services Deadlock detected. More info in file
 /u01/app/oracle/diag/rdbms/XXsdb/XXsdb1/trace/XXsdb1_lmd0_17171238.trc.
Thu Jun 09 14:27:48 2022
Thread 1 advanced to log sequence 7323 (LGWR switch)
  Current log# 11 seq# 7323 mem# 0: +XXSDG/XXsdb/onlinelog/group_11.270.975691147
  Current log# 11 seq# 7323 mem# 1: +ARCH1/XXsdb/onlinelog/group_11.267.975691155
Thu Jun 09 14:27:49 2022

二、分析

1、通过分析,数据库不可能只有关闭一个动作,没有前后文联系。

2、继续分析,发现这是在执行一个job的报错。

ORA-12012: 自动执行作业 "DT"."TZB_JOB1" 出错

---执行job报错

ORA-01033: ORACLE 正在初始化或关闭

---原因是数据库正在初始化或者已经被关闭

ORA-02063: 紧接着 line (起自 DT_TO_DT)

---连接这个dblink失败

ORA-06512: 在 line 4

进程 ID:

会话 ID: 0 序列号: 0

3、查看这个job是在调用DT_TO_DT的dblink异常

4、该dblink异常的原因是,该dblink连接的数据库正在重启,导致这个告警产生。

;