<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv=Content-Type content="text/html; charset=us-ascii"> <meta name=Generator content="Microsoft Word 11 (filtered medium)"> <style>  </style> </head> <body lang=EN-US link=blue vlink=purple> <div class=Section1> <a name="OLE_LINK1"></a><a name="OLE_LINK2">Hi,<o:p></o:p></a> <o:p> </o:p> We have setup a Compellent SAN with 2 HBA attached to dual fabrics. Under load when we import a 60GB database, paths fail very often. Following is the failed path behavior from syslog.<o:p></o:p> <o:p> </o:p> Oct 23 02:01:15 db03 kernel: sd 2:0:1:1: SCSI error: return code = 0x08000002<o:p></o:p> Oct 23 02:01:15 db03 kernel: sde: Current: sense key: Aborted Command<o:p></o:p> Oct 23 02:01:15 db03 kernel: Add. Sense: Internal target failure<o:p></o:p> Oct 23 02:01:15 db03 kernel:<o:p></o:p> Oct 23 02:01:15 db03 kernel: end_request: I/O error, dev sde, sector 911585239<o:p></o:p> Oct 23 02:01:15 db03 kernel: device-mapper: multipath: Failing path 8:64.<o:p></o:p> Oct 23 02:01:15 db03 multipathd: 8:64: mark as failed<o:p></o:p> Oct 23 02:01:15 db03 multipathd: mpath1: remaining active paths: 1<o:p></o:p> Oct 23 02:01:15 db03 kernel: sd 1:0:3:1: SCSI error: return code = 0x08000002<o:p></o:p> Oct 23 02:01:15 db03 kernel: sdc: Current: sense key: Aborted Command<o:p></o:p> Oct 23 02:01:15 db03 kernel: Add. Sense: Internal target failure<o:p></o:p> Oct 23 02:01:15 db03 kernel:<o:p></o:p> Oct 23 02:01:15 db03 kernel: end_request: I/O error, dev sdc, sector 911585239<o:p></o:p> Oct 23 02:01:15 db03 kernel: device-mapper: multipath: Failing path 8:32.<o:p></o:p> Oct 23 02:01:16 db03 multipathd: 8:32: mark as failed<o:p></o:p> Oct 23 02:01:16 db03 multipathd: mpath1: remaining active paths: 0<o:p></o:p> Oct 23 02:01:19 db03 multipathd: sde: tur checker reports path is up<o:p></o:p> Oct 23 02:01:19 db03 multipathd: 8:64: reinstated<o:p></o:p> Oct 23 02:01:19 db03 multipathd: mpath1: remaining active paths: 1<o:p></o:p> Oct 23 02:01:20 db03 multipathd: sdc: tur checker reports path is up<o:p></o:p> Oct 23 02:01:20 db03 multipathd: 8:32: reinstated<o:p></o:p> Oct 23 02:01:20 db03 multipathd: mpath1: remaining active paths: 2<o:p></o:p> Oct 23 02:01:21 db03 kernel: sd 2:0:1:1: SCSI error: return code = 0x08000002<o:p></o:p> Oct 23 02:01:21 db03 kernel: sde: Current: sense key: Aborted Command<o:p></o:p> Oct 23 02:01:21 db03 kernel: Add. Sense: Internal target failure<o:p></o:p> Oct 23 02:01:21 db03 kernel:<o:p></o:p> <o:p> </o:p> <o:p> </o:p> Multipathd segfault during boot and following is from dmesg output:<o:p></o:p> <o:p> </o:p> multipathd[7165]: segfault at 000000000000000a rip 00002aaaaaf51a3d rsp 00007fff03b50090 error 4<o:p></o:p> sd 2:0:1:1: SCSI error: return code = 0x08000002<o:p></o:p> sde: Current: sense key: Aborted Command<o:p></o:p> Add. Sense: Internal target failure<o:p></o:p> <o:p> </o:p> end_request: I/O error, dev sde, sector 912637903<o:p></o:p> device-mapper: multipath: Failing path 8:64.<o:p></o:p> sd 1:0:3:1: SCSI error: return code = 0x08000002<o:p></o:p> sdc: Current: sense key: Aborted Command<o:p></o:p> Add. Sense: Internal target failure<o:p></o:p> <o:p> </o:p> end_request: I/O error, dev sdc, sector 915472343<o:p></o:p> device-mapper: multipath: Failing path 8:32.<o:p></o:p> sd 2:0:1:1: SCSI error: return code = 0x08000002<o:p></o:p> sde: Current: sense key: Aborted Command<o:p></o:p> Add. Sense: Internal target failure<o:p></o:p> <o:p> </o:p> end_request: I/O error, dev sde, sector 915472343<o:p></o:p> device-mapper: multipath: Failing path 8:64.<o:p></o:p> sd 2:0:1:1: SCSI error: return code = 0x08000002<o:p></o:p> sde: Current: sense key: Aborted Command<o:p></o:p> Add. Sense: Internal target failure<o:p></o:p> <o:p> </o:p> end_request: I/O error, dev sde, sector 919728103<o:p></o:p> device-mapper: multipath: Failing path 8:64.<o:p></o:p> sd 1:0:3:1: SCSI error: return code = 0x08000002<o:p></o:p> sdc: Current: sense key: Aborted Command<o:p></o:p> Add. Sense: Internal target failure<o:p></o:p> <o:p> </o:p> We have experienced same failures on both RHEL 5.1 and CentOS. Following is /etc/multipathd.conf <o:p></o:p> <o:p> </o:p> defaults {<o:p></o:p> user_friendly_names yes<o:p></o:p> path_grouping_policy multibus<o:p></o:p> }<o:p></o:p> <o:p> </o:p> devices {<o:p></o:p> device {<o:p></o:p> vendor "COMPELNT"<o:p></o:p> product "Compellent Vol"<o:p></o:p> path_checker tur<o:p></o:p> polling_interval 10<o:p></o:p> no_path_retry queue<o:p></o:p> }<o:p></o:p> }<o:p></o:p> <o:p> </o:p> blacklist {<o:p></o:p> devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"<o:p></o:p> devnode "^(hd|xvd)[a-z]*"<o:p></o:p> wwid "*"<o:p></o:p> }<o:p></o:p> <o:p> </o:p> # Make sure our multipath devices are enabled.<o:p></o:p> <o:p> </o:p> blacklist_exceptions {<o:p></o:p> wwid "36000d310000e63000000000000000007"<o:p></o:p> wwid "36000d310000e6300000000000000000c"<o:p></o:p> }<o:p></o:p> <o:p> </o:p> <o:p> </o:p> # multipath -ll<o:p></o:p> mpath1 (36000d310000e6300000000000000000c) dm-5 COMPELNT,Compellent Vol<o:p></o:p> [size=500G][features=1 queue_if_no_path][hwhandler=0]<o:p></o:p> \_ round-robin 0 [prio=2][active]<o:p></o:p> \_ 1:0:3:1 sdc 8:32 [active][ready]<o:p></o:p> \_ 2:0:1:1 sde 8:64 [active][ready]<o:p></o:p> mpath0 (36000d310000e63000000000000000007) dm-0 COMPELNT,Compellent Vol<o:p></o:p> [size=50G][features=1 queue_if_no_path][hwhandler=0]<o:p></o:p> \_ round-robin 0 [prio=2][active]<o:p></o:p> \_ 1:0:3:0 sdb 8:16 [active][ready]<o:p></o:p> \_ 2:0:1:0 sdd 8:48 [active][ready]<o:p></o:p> <o:p> </o:p> <o:p> </o:p> Please let me know if you need more information. This is my first experience with SAN configuration and I feel that I have missed something very obvious, because I was not getting meaningful results for those search results.<o:p></o:p> <o:p> </o:p> Thanks,<o:p></o:p> Prakash.<o:p></o:p> </div> </body> </html>