eygle.com   eygle.com
eygle.com eygle
eygle.com  
 

« DBA警世录:有多少错误可以再犯 | Blog首页 | LGWR与AIX上的进程优先级 »

光纤存储、SUN遭遇莫名故障

前几天,一台连接EMC存储的数据库主机挂了,给出的错误信息如下:


scsi: [ID 107833 kern.notice] Requested Block: 0 Error Block: 0
scsi: [ID 107833 kern.notice] Vendor: DGC Serial Number: 2E0000F8FACL
scsi: [ID 107833 kern.notice] Sense Key: Unit Attention
scsi: [ID 107833 kern.notice] ASC: 0x2a (), ASCQ: 0x80, FRU: 0x0
scsi: [ID 107833 kern.warning] WARNING: /pci@8,600000/fibre-channel@1/sd@1,18 (sd299):
Error for Command: read Error Level: Retryable

由于有HA起作用,数据库切换到其他服务器运行。
从错误信息看起来,是存储的读写出现了问题。

进一步检查,发现光纤交换机出了点故障:

Error 63
--------
0x101c9810 (tThad): Mar 27 05:23:29
WARNING FW-STATUS_SWITCH, 3, Switch status changed from DOWN/FAILED to HEALTHY/OK

目前的判断是,可能是光纤交换机的短时故障导致了光纤通道中断,结果导致主机直接Down机。

可是重起之后异常出现了,运行在这个主机上的数据库奇慢无比,即使切换到其他主机情况也没有好转。

EMC存储上没有任何错误,目前怀疑相关LUN的数据存在问题,导致I/O缓慢。

有谁遇到过类似问题么?

-The End-


历史上的今天...
    >> 2013-03-29文章:
    >> 2011-03-29文章:
    >> 2005-03-29文章:

无觅

By eygle on 2007-03-29 15:20 | Comments (13) | System | 1392 |

13 Comments

cx500的主机?

从这个报错信息:
WARNING FW-STATUS_SWITCH, 3, Switch status changed from DOWN/FAILED to HEALTHY/OK
看来,你使用的应该是DELL/EMC的SilkWorm光纤交换机。
这种光纤交换机在端口的状态变成DOWN的情况(多半是由于光纤链路的问题,例如光纤曲率过大导致或者主机宕机导致。)时会报这种错误信息。这是一种链路的报错信息。具体需要比较交换机的时间和主机的时间才能得到因果关系,才能得知到底是主机先宕机还是光纤先断。
可以多在光纤链路或者端口模块上找找问题。

交换机是brocade的

这种报错只是表明某条光纤链路出现了问题,可能是主机的光纤端口有问题(例如主机的HBA卡上的SFP模块),可能是主机到光纤交换机的光纤有问题,也可能是光纤交换机的端口(从报错信息来看应该是3号端口)有问题。
总之这个报错信息只是告诉你,在某个时刻光纤交换机检测到光纤链路有问题。
从HA切换到另外一台主机后数据库仍然奇慢无比的现象来看,具体原因估计还是在存储到光纤交换机之间的链接上。否则不会另外一个主机也很慢。
可以试试从LUN中手工读取数据例如dd到本地文件,这样可以帮助检测错误。

操作系统日志有没有什么信息?使用了PowerPath?

有PP,前面的信息就是操作系统的。

现在的问题很奇怪,就只有几个LUN有问题,其他的都是好的。

我怀疑是光交出了问题,导致数据读写慢.
要不试着重启一下光交看看。

问题在于现在处于同一个交换机其他的LUN读写都是正常的。

找EMC开Case了,让厂家来搞搞!

我觉得不像是FC Switch的问题,倒像是clariion的问题。

请问最后问题出在什么地方?

是光纤通道的问题,更换了其中一根光纤问题解决了。

你好啊。。我公司能提供EMC CX系列所有的卑贱!库存
Abner Tang
POKA China (HK) Co, Ltd.
Tel: 0086-10-84505141 ext 703
mobile:13810841931
Fax:0086-10-84505165
Email:abnert@epoka.com.cn
MSN:tangjieshuai@hotmail.com
Website:http://www.epoka.com


CopyRight © 2004~2020 云和恩墨,成就未来!, All rights reserved.
数据恢复·紧急救援·性能优化 云和恩墨 24x7 热线电话:400-600-8755 业务咨询:010-59007017-7040 or 7037 业务合作: marketing@enmotech.com