« DBA警世录:有多少错误可以再犯 | Blog首页 | LGWR与AIX上的进程优先级 »
光纤存储、SUN遭遇莫名故障
作者：eygle | 【转载请注出处】|【云和恩墨 领先的zData数据库一体机 | zCloud PaaS云管平台 | SQM SQL审核平台 | ZDBM 数据库备份一体机】
链接：https://www.eygle.com/archives/2007/03/sun_fibre_emc.html
链接：https://www.eygle.com/archives/2007/03/sun_fibre_emc.html
前几天，一台连接EMC存储的数据库主机挂了，给出的错误信息如下：
scsi: [ID 107833 kern.notice] Requested Block: 0 Error Block: 0
scsi: [ID 107833 kern.notice] Vendor: DGC Serial Number: 2E0000F8FACL
scsi: [ID 107833 kern.notice] Sense Key: Unit Attention
scsi: [ID 107833 kern.notice] ASC: 0x2a (), ASCQ: 0x80, FRU: 0x0
scsi: [ID 107833 kern.warning] WARNING: /pci@8,600000/fibre-channel@1/sd@1,18 (sd299):
Error for Command: read Error Level: Retryable
由于有HA起作用，数据库切换到其他服务器运行。
从错误信息看起来，是存储的读写出现了问题。
进一步检查，发现光纤交换机出了点故障：
Error 63
--------
0x101c9810 (tThad): Mar 27 05:23:29
WARNING FW-STATUS_SWITCH, 3, Switch status changed from DOWN/FAILED to HEALTHY/OK
目前的判断是，可能是光纤交换机的短时故障导致了光纤通道中断，结果导致主机直接Down机。
可是重起之后异常出现了，运行在这个主机上的数据库奇慢无比，即使切换到其他主机情况也没有好转。
EMC存储上没有任何错误，目前怀疑相关LUN的数据存在问题，导致I/O缓慢。
有谁遇到过类似问题么?
-The End-
历史上的今天...
>> 2013-03-29文章:
>> 2011-03-29文章:
>> 2005-03-29文章:
By eygle on 2007-03-29 15:20 | Comments (13) | System | 1392 |
cx500的主机？
是CX500
从这个报错信息：
WARNING FW-STATUS_SWITCH, 3, Switch status changed from DOWN/FAILED to HEALTHY/OK
看来，你使用的应该是DELL/EMC的SilkWorm光纤交换机。
这种光纤交换机在端口的状态变成DOWN的情况（多半是由于光纤链路的问题，例如光纤曲率过大导致或者主机宕机导致。）时会报这种错误信息。这是一种链路的报错信息。具体需要比较交换机的时间和主机的时间才能得到因果关系，才能得知到底是主机先宕机还是光纤先断。
可以多在光纤链路或者端口模块上找找问题。
交换机是brocade的
这种报错只是表明某条光纤链路出现了问题，可能是主机的光纤端口有问题（例如主机的HBA卡上的SFP模块），可能是主机到光纤交换机的光纤有问题，也可能是光纤交换机的端口（从报错信息来看应该是3号端口）有问题。
总之这个报错信息只是告诉你，在某个时刻光纤交换机检测到光纤链路有问题。
从HA切换到另外一台主机后数据库仍然奇慢无比的现象来看，具体原因估计还是在存储到光纤交换机之间的链接上。否则不会另外一个主机也很慢。
可以试试从LUN中手工读取数据例如dd到本地文件，这样可以帮助检测错误。
操作系统日志有没有什么信息？使用了PowerPath？
有PP,前面的信息就是操作系统的。
现在的问题很奇怪，就只有几个LUN有问题，其他的都是好的。
我怀疑是光交出了问题，导致数据读写慢.
要不试着重启一下光交看看。
问题在于现在处于同一个交换机其他的LUN读写都是正常的。
找EMC开Case了，让厂家来搞搞!
我觉得不像是FC Switch的问题，倒像是clariion的问题。
请问最后问题出在什么地方？
是光纤通道的问题，更换了其中一根光纤问题解决了。
你好啊。。我公司能提供EMC CX系列所有的卑贱！库存
Abner Tang
POKA China (HK) Co, Ltd.
Tel: 0086-10-84505141 ext 703
mobile:13810841931
Fax:0086-10-84505165
Email:abnert@epoka.com.cn
MSN:tangjieshuai@hotmail.com
Website:http://www.epoka.com