eygle Eygle.
Case 2007-08-30

Resize datafile导致ASM Crash一例

eygle 2007-08-30 11:32
modb.pro

昨天，同时维护一个Oracle 10.1.0.3.0的数据库时，导致ASM实例Crash，数据库切换。

这是一个启用很早的Oracle10g数据库，一直运行得很稳定，故障率很低。
查看日志，发现如下错误信息：
Wed Aug 29 12:05:24 2007
alter database datafile '+DATADG/mmsdb/datafile/gateway.295.1' resize 12000M
Wed Aug 29 12:05:25 2007
Completed: alter database datafile '+DATADG/mmsdb/datafile/ga
Wed Aug 29 12:10:14 2007
create tablespace dodd datafile size 100M
Wed Aug 29 12:10:15 2007
Starting control autobackup
Created Oracle managed file /msflsh/MMSDB/autobackup/2007_08_29/o1_mf_n_631887015_3f9wf82j_.bkp
Control autobackup written to DISK device
handle '/msflsh/MMSDB/autobackup/2007_08_29/o1_mf_n_631887015_3f9wf82j_.bkp'
Completed: create tablespace dodd datafile size 100M
Wed Aug 29 12:11:24 2007
drop tablespace dodd
Wed Aug 29 12:11:25 2007
Deleted Oracle managed file +DATADG/mmsdb/datafile/dodd.313.5
Starting control autobackup
Created Oracle managed file /msflsh/MMSDB/autobackup/2007_08_29/o1_mf_n_631887085_3f9whfv1_.bkp
Control autobackup written to DISK device
handle '/msflsh/MMSDB/autobackup/2007_08_29/o1_mf_n_631887085_3f9whfv1_.bkp'
Completed: drop tablespace dodd
Wed Aug 29 12:21:48 2007
alter database datafile '+DATADG/mmsdb/datafile/gateway.295.1' resize 15000M
Wed Aug 29 12:21:48 2007
Errors in file /opt/oracle/admin/mmsdb/bdump/mmsdb_asmb_8036.trc:
ORA-00600: internal error code, arguments: [kffmXpResize], [26], [32], [], [], [], [], []
Wed Aug 29 12:21:51 2007
Errors in file /opt/oracle/admin/mmsdb/bdump/mmsdb_asmb_8036.trc:
ORA-00600: internal error code, arguments: [kffmXpResize], [26], [32], [], [], [], [], []
Wed Aug 29 12:21:51 2007
ASMB: terminating instance due to error 486
Wed Aug 29 12:21:51 2007
Errors in file /opt/oracle/admin/mmsdb/bdump/mmsdb_pmon_7990.trc:
ORA-00486: ASMB process terminated with error
Instance terminated by ASMB, pid = 8036

注意日志，首先是Resize缩小了数据文件，然后再Resize放大了文件。
这正好完全吻合了Oracle的一个Bug：3952778

这个Bug的描述为：
Shrinking and then growing an ASM file can result in an internal error ORA-600 [kffmxpresize].
已经确定影响版本：10.1.0.3

看到没有，我们的数据库环境和同事的操作和这个Bug完全吻合，于是ASM实例Crash，数据库崩溃了。
真让人晕倒！

至于这个Bug是否百发百中，有兴趣的朋友可以试试看:D

这次事故给我们的教训是：DBA也需要看手气！
这次事故给DBA的教训是：如果经常手气不好，一定要找找原因。

-The End-

By eygle 2007-08-30 11:32 评论 (8)
eygle
eygle

前Oracle ACE Director，云和恩墨创始人。技术为骨，历史为脉，人文为魂。

返回首页 →

8 Comments

brucewoo | August 30, 2007 10:28 AM

看来这次操作手气不是很好

Thomas Zhang | August 30, 2007 12:36 PM

哈哈，莫非你的同事是先看到了bug，然后想验证一下？结果真的中招了！

fengshanjian | August 30, 2007 1:11 PM

有没有办法把某个版本的已知所有bug都列出来？
不如象是走地雷阵，说不定什么时候就中招

eygle | August 30, 2007 1:27 PM

一般每个版本都会有一个Bug List不过太长了，根本看不过来的。

brotherxiao | August 30, 2007 3:48 PM

heh,偶的一个库用了10.2.0.3,上线的时候还是碰到很了很多bug，有些你根本就想象不到的平常操作就可能触发bug。而且有些还没有出相应的patch。只能10g算是一个比较失败的版本了:)

lkptantan | August 30, 2007 5:07 PM

我想知道的是shrinking一个文件后，隔多久才可以再加大这个ASM文件？还是说只要shrink后，无论隔多久再加大size,这个BUG照出不误？

棉花糖ONE | September 11, 2007 6:59 PM

这次事故给我们的教训是：DBA也需要看手气！
这次事故给DBA的教训是：如果经常手气不好，一定要找找原因。

老大这句话太有意思了

cc7x | October 26, 2008 12:54 PM

这事也太有趣了