<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns="http://www.w3.org/TR/REC-html40"> <head> <META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii"> <meta name=Generator content="Microsoft Word 11 (filtered medium)">  <style>  </style>  </head> <body bgcolor=white lang=EN-US link=blue vlink=purple> <div class=Section1> I am not specifically blacklisting the /dev/dm-X devices. The 5 /dev/dm-X devices on my system correspond to the 5 device special files in /dev/mapper on the second LUN that dm-multipath is currently managing.<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 ~]# cd /dev/mapper<o:p></o:p> [root@svwdcvispay01 mapper]# ls -la<o:p></o:p> total 0<o:p></o:p> drwxr-xr-x 2 root root 160 Jan 29 11:47 .<o:p></o:p> drwxr-xr-x 9 root root 4900 Jan 29 11:44 ..<o:p></o:p> crw------- 1 root root 10, 63 Jan 29 11:44 control<o:p></o:p> brw-rw---- 1 root disk 253, 0 Jan 29 11:44 mpath1<o:p></o:p> brw-rw---- 1 root disk 253, 1 Jan 29 11:44 mpath1p1<o:p></o:p> brw-rw---- 1 root disk 253, 2 Jan 29 11:44 mpath1p2<o:p></o:p> brw-rw---- 1 root disk 253, 3 Jan 29 11:44 mpath1p3<o:p></o:p> brw-rw---- 1 root disk 253, 4 Jan 29 11:44 mpath1p5<o:p></o:p> [root@svwdcvispay01 mapper]# ls -la /dev/dm*<o:p></o:p> brw-r----- 1 root root 253, 0 Jan 29 11:44 /dev/dm-0<o:p></o:p> brw-r----- 1 root root 253, 1 Jan 29 11:44 /dev/dm-1<o:p></o:p> brw-r----- 1 root root 253, 2 Jan 29 11:44 /dev/dm-2<o:p></o:p> brw-r----- 1 root root 253, 3 Jan 29 11:44 /dev/dm-3<o:p></o:p> brw-r----- 1 root root 253, 4 Jan 29 11:44 /dev/dm-4<o:p></o:p> [root@svwdcvispay01 mapper]#<o:p></o:p> <o:p> </o:p> I believe that dm-multipath is internally blacklisting those devices. Notice if I execute `dmsetup remove_all` which removes all the /dev/mapper/mpath1* files and then recreate them that dm-multipath creates 5 new /dev/dm-* files:<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]# dmsetup remove_all<o:p></o:p> [root@svwdcvispay01 mapper]# ls -la<o:p></o:p> total 0<o:p></o:p> drwxr-xr-x 2 root root 60 Jan 29 12:09 .<o:p></o:p> drwxr-xr-x 9 root root 4900 Jan 29 11:44 ..<o:p></o:p> crw------- 1 root root 10, 63 Jan 29 11:44 control<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]# ls -la /dev/dm*<o:p></o:p> brw-r----- 1 root root 253, 0 Jan 29 11:44 /dev/dm-0<o:p></o:p> brw-r----- 1 root root 253, 1 Jan 29 11:44 /dev/dm-1<o:p></o:p> brw-r----- 1 root root 253, 2 Jan 29 11:44 /dev/dm-2<o:p></o:p> brw-r----- 1 root root 253, 3 Jan 29 11:44 /dev/dm-3<o:p></o:p> brw-r----- 1 root root 253, 4 Jan 29 11:44 /dev/dm-4<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]# multipath<o:p></o:p> create: mpath1 (36005076801810085c8000000000001a2)<o:p></o:p> [size=50 GB][features="1 queue_if_no_path"][hwhandler="0"]<o:p></o:p> \_ round-robin 0 [prio=50]<o:p></o:p> \_ 1:0:1:1 sdd 8:48 [ready]<o:p></o:p> \_ round-robin 0 [prio=10]<o:p></o:p> \_ 1:0:0:1 sdb 8:16 [ready]<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]# ls -la<o:p></o:p> total 0<o:p></o:p> drwxr-xr-x 2 root root 160 Jan 29 12:09 .<o:p></o:p> drwxr-xr-x 9 root root 5000 Jan 29 12:09 ..<o:p></o:p> crw------- 1 root root 10, 63 Jan 29 11:44 control<o:p></o:p> brw-rw---- 1 root disk 253, 5 Jan 29 12:09 mpath1<o:p></o:p> brw-rw---- 1 root disk 253, 6 Jan 29 12:09 mpath1p1<o:p></o:p> brw-rw---- 1 root disk 253, 7 Jan 29 12:09 mpath1p2<o:p></o:p> brw-rw---- 1 root disk 253, 8 Jan 29 12:09 mpath1p3<o:p></o:p> brw-rw---- 1 root disk 253, 9 Jan 29 12:09 mpath1p5<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]# ls -la /dev/dm*<o:p></o:p> brw-r----- 1 root root 253, 0 Jan 29 11:44 /dev/dm-0<o:p></o:p> brw-r----- 1 root root 253, 1 Jan 29 11:44 /dev/dm-1<o:p></o:p> brw-r----- 1 root root 253, 2 Jan 29 11:44 /dev/dm-2<o:p></o:p> brw-r----- 1 root root 253, 3 Jan 29 11:44 /dev/dm-3<o:p></o:p> brw-r----- 1 root root 253, 4 Jan 29 11:44 /dev/dm-4<o:p></o:p> brw-r----- 1 root root 253, 5 Jan 29 12:09 /dev/dm-5<o:p></o:p> brw-r----- 1 root root 253, 6 Jan 29 12:09 /dev/dm-6<o:p></o:p> brw-r----- 1 root root 253, 7 Jan 29 12:09 /dev/dm-7<o:p></o:p> brw-r----- 1 root root 253, 8 Jan 29 12:09 /dev/dm-8<o:p></o:p> brw-r----- 1 root root 253, 9 Jan 29 12:09 /dev/dm-9<o:p></o:p> [root@svwdcvispay01 mapper]# <o:p></o:p> <o:p> </o:p> Notice also that the blacklist has been automatically extended to cover the 5 new /dev/dm-X devices:<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]# multipath -v3 | more<o:p></o:p> load path identifiers cache<o:p></o:p> #<o:p></o:p> # all paths in cache :<o:p></o:p> #<o:p></o:p> 36005076801810085c800000000000194 1:0:0:0 sda 8:0 IBM /2145<o:p></o:p> 36005076801810085c8000000000001a2 1:0:0:1 sdb 8:16 10 [active] IBM /2145<o:p></o:p> 36005076801810085c800000000000194 1:0:1:0 sdc 8:32 IBM /2145<o:p></o:p> 36005076801810085c8000000000001a2 1:0:1:1 sdd 8:48 50 [active] IBM /2145<o:p></o:p> dm-0 blacklisted<o:p></o:p> dm-1 blacklisted<o:p></o:p> dm-2 blacklisted<o:p></o:p> dm-3 blacklisted<o:p></o:p> dm-4 blacklisted<o:p></o:p> dm-5 blacklisted<o:p></o:p> dm-6 blacklisted<o:p></o:p> dm-7 blacklisted<o:p></o:p> dm-8 blacklisted<o:p></o:p> dm-9 blacklisted<o:p></o:p> …<o:p></o:p> <o:p> </o:p> When I reboot the server dm-5 through dm-9 are gone and it is again using dm-0 through dm-4.<o:p></o:p> <o:p> </o:p> Joe Little<o:p></o:p> <a href="mailto:littlej@ae.com">littlej@ae.com</a><o:p></o:p> <o:p> </o:p> <o:p> </o:p> <o:p> </o:p> <o:p> </o:p> <div> <div class=MsoNormal align=center style='text-align:center'> <hr size=2 width="100%" align=center tabindex=-1> </div> From: dm-devel-bounces@redhat.com [mailto:dm-devel-bounces@redhat.com] On Behalf Of Gerald Nowitzky Sent: Tuesday, January 29, 2008 11:59 AM To: device-mapper development Subject: Re: [dm-devel] Problem using dm-multipath on first of 2 LUNs on system<o:p></o:p> </div> <o:p> </o:p> <div> try and remove dm-0 to dm-4 from the blacklist. The devices in /dev/mapper are links to /dev/dm-x<o:p></o:p> </div> <div> (Gerald)<o:p></o:p> </div> <blockquote style='border:none;border-left:solid black 1.5pt;padding:0in 0in 0in 4.0pt; margin-left:3.75pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt'> <div> ----- Original Message ----- <o:p></o:p> </div> <div style='font-color:black'> From: <a href="mailto:LittleJ@AE.com" title="LittleJ@AE.com">LittleJ@AE.com</a> <o:p></o:p> </div> <div> To: <a href="mailto:dm-devel@redhat.com" title="dm-devel@redhat.com">dm-devel@redhat.com</a> <o:p></o:p> </div> <div> Sent: Tuesday, January 29, 2008 4:42 PM<o:p></o:p> </div> <div> Subject: [dm-devel] Problem using dm-multipath on first of 2 LUNs on system<o:p></o:p> </div> <div> <o:p> </o:p> </div> I am attempting to implement dm-multipath on a RHEL4U6 server and I have been successful in enabling it on the second of 2 LUNs on the server but for whatever reason it will not create the device special files in /dev/mapper for the fist LUN. `multipath –d` shows that it identifies the first LUN and wants to create the mpath0 files:<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 etc]# multipath -d<o:p></o:p> create: mpath0 (36005076801810085c800000000000194)<o:p></o:p> [size=12 GB][features="1 queue_if_no_path"][hwhandler="0"]<o:p></o:p> \_ round-robin 0 [prio=50]<o:p></o:p> \_ 1:0:0:0 sda 8:0 [ready]<o:p></o:p> \_ round-robin 0 [prio=10]<o:p></o:p> \_ 1:0:1:0 sdc 8:32 [ready]<o:p></o:p> <o:p> </o:p> switchpg: mpath1 (36005076801810085c8000000000001a2)<o:p></o:p> [size=50 GB][features="1 queue_if_no_path"][hwhandler="0"]<o:p></o:p> \_ round-robin 0 [prio=50]<o:p></o:p> \_ 1:0:1:1 sdd 8:48 [active][ready]<o:p></o:p> \_ round-robin 0 [prio=10]<o:p></o:p> \_ 1:0:0:1 sdb 8:16 [active][ready]<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 etc]#<o:p></o:p> <o:p> </o:p> <o:p> </o:p> However `multipath –v3` generates a “set ACT_CREATE: map does not exists” error in the mpath0 section:<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 etc]# multipath -v3<o:p></o:p> load path identifiers cache<o:p></o:p> #<o:p></o:p> # all paths in cache :<o:p></o:p> #<o:p></o:p> 36005076801810085c800000000000194 1:0:0:0 sda 8:0 IBM /2145<o:p></o:p> 36005076801810085c8000000000001a2 1:0:0:1 sdb 8:16 10 [active] IBM /2145<o:p></o:p> 36005076801810085c800000000000194 1:0:1:0 sdc 8:32 IBM /2145<o:p></o:p> 36005076801810085c8000000000001a2 1:0:1:1 sdd 8:48 50 [active] IBM /2145<o:p></o:p> dm-0 blacklisted<o:p></o:p> dm-1 blacklisted<o:p></o:p> dm-2 blacklisted<o:p></o:p> dm-3 blacklisted<o:p></o:p> dm-4 blacklisted<o:p></o:p> md0 blacklisted<o:p></o:p> ram0 blacklisted<o:p></o:p> ram10 blacklisted<o:p></o:p> ram11 blacklisted<o:p></o:p> ram12 blacklisted<o:p></o:p> ram13 blacklisted<o:p></o:p> ram14 blacklisted<o:p></o:p> ram15 blacklisted<o:p></o:p> ram1 blacklisted<o:p></o:p> ram2 blacklisted<o:p></o:p> ram3 blacklisted<o:p></o:p> ram4 blacklisted<o:p></o:p> ram5 blacklisted<o:p></o:p> ram6 blacklisted<o:p></o:p> ram7 blacklisted<o:p></o:p> ram8 blacklisted<o:p></o:p> ram9 blacklisted<o:p></o:p> ===== path info sda (mask 0x1f) =====<o:p></o:p> bus = 1<o:p></o:p> dev_t = 8:0<o:p></o:p> size = 25165824<o:p></o:p> vendor = IBM<o:p></o:p> product = 2145<o:p></o:p> rev = 0000<o:p></o:p> h:b:t:l = 1:0:0:0<o:p></o:p> tgt_node_name = 0x50050768010010b9<o:p></o:p> serial = 020060402172XX00<o:p></o:p> path checker = tur (controler setting)<o:p></o:p> state = 2<o:p></o:p> getprio = /sbin/mpath_prio_alua /dev/%n (controler setting)<o:p></o:p> prio = 50<o:p></o:p> uid = 36005076801810085c800000000000194 (cache)<o:p></o:p> ===== path info sdb (mask 0x1f) =====<o:p></o:p> bus = 1<o:p></o:p> dev_t = 8:16<o:p></o:p> size = 104857600<o:p></o:p> vendor = IBM<o:p></o:p> product = 2145<o:p></o:p> rev = 0000<o:p></o:p> h:b:t:l = 1:0:0:1<o:p></o:p> tgt_node_name = 0x50050768010010b9<o:p></o:p> serial = 020060402172XX00<o:p></o:p> path checker = tur (controler setting)<o:p></o:p> state = 2<o:p></o:p> getprio = /sbin/mpath_prio_alua /dev/%n (controler setting)<o:p></o:p> prio = 10<o:p></o:p> uid = 36005076801810085c8000000000001a2 (cache)<o:p></o:p> ===== path info sdc (mask 0x1f) =====<o:p></o:p> bus = 1<o:p></o:p> dev_t = 8:32<o:p></o:p> size = 25165824<o:p></o:p> vendor = IBM<o:p></o:p> product = 2145<o:p></o:p> rev = 0000<o:p></o:p> h:b:t:l = 1:0:1:0<o:p></o:p> tgt_node_name = 0x5005076801001082<o:p></o:p> serial = 020060402172XX00<o:p></o:p> path checker = tur (controler setting)<o:p></o:p> state = 2<o:p></o:p> getprio = /sbin/mpath_prio_alua /dev/%n (controler setting)<o:p></o:p> prio = 10<o:p></o:p> uid = 36005076801810085c800000000000194 (cache)<o:p></o:p> ===== path info sdd (mask 0x1f) =====<o:p></o:p> bus = 1<o:p></o:p> dev_t = 8:48<o:p></o:p> size = 104857600<o:p></o:p> vendor = IBM<o:p></o:p> product = 2145<o:p></o:p> rev = 0000<o:p></o:p> h:b:t:l = 1:0:1:1<o:p></o:p> tgt_node_name = 0x5005076801001082<o:p></o:p> serial = 020060402172XX00<o:p></o:p> path checker = tur (controler setting)<o:p></o:p> state = 2<o:p></o:p> getprio = /sbin/mpath_prio_alua /dev/%n (controler setting)<o:p></o:p> prio = 50<o:p></o:p> uid = 36005076801810085c8000000000001a2 (cache)<o:p></o:p> #<o:p></o:p> # all paths :<o:p></o:p> #<o:p></o:p> 36005076801810085c800000000000194 1:0:0:0 sda 8:0 50 [ready] IBM /2145<o:p></o:p> 36005076801810085c8000000000001a2 1:0:0:1 sdb 8:16 10 [active][ready] IBM<o:p></o:p> 36005076801810085c800000000000194 1:0:1:0 sdc 8:32 10 [ready] IBM /2145<o:p></o:p> 36005076801810085c8000000000001a2 1:0:1:1 sdd 8:48 50 [active][ready] IBM<o:p></o:p> params = 1 queue_if_no_path 0 2 1 round-robin 0 1 1 8:48 1000 round-robin 0 1 1 8:16 1000<o:p></o:p> status = 1 0 0 2 1 A 0 1 0 8:48 A 0 E 0 1 0 8:16 A 0<o:p></o:p> Found matching wwid [36005076801810085c800000000000194] in bindings file.<o:p></o:p> Setting alias to mpath0<o:p></o:p> pgpolicy = group_by_prio (controler setting)<o:p></o:p> selector = round-robin 0 (internal default)<o:p></o:p> features = 1 queue_if_no_path (controler setting)<o:p></o:p> hwhandler = 0 (controler setting)<o:p></o:p> rr_weight = 1 (internal default)<o:p></o:p> rr_min_io = 1000 (config file default)<o:p></o:p> no_path_retry = NONE (internal default)<o:p></o:p> pg_timeout = NONE (internal default)<o:p></o:p> 0 25165824 multipath 1 queue_if_no_path 0 2 1 round-robin 0 1 1 8:0 1000 round-robin 0 1 1 8:32 1000<o:p></o:p> set ACT_CREATE: map does not exists<o:p></o:p> Found matching wwid [36005076801810085c8000000000001a2] in bindings file.<o:p></o:p> Setting alias to mpath1<o:p></o:p> pgpolicy = group_by_prio (controler setting)<o:p></o:p> selector = round-robin 0 (internal default)<o:p></o:p> features = 1 queue_if_no_path (controler setting)<o:p></o:p> hwhandler = 0 (controler setting)<o:p></o:p> rr_weight = 1 (internal default)<o:p></o:p> rr_min_io = 1000 (config file default)<o:p></o:p> no_path_retry = NONE (internal default)<o:p></o:p> pg_timeout = NONE (internal default)<o:p></o:p> 0 104857600 multipath 1 queue_if_no_path 0 2 1 round-robin 0 1 1 8:48 1000 round-robin 0 1 1 8:16 1000<o:p></o:p> set ACT_NOTHING: map unchanged<o:p></o:p> [root@svwdcvispay01 etc]#<o:p></o:p> <o:p> </o:p> <o:p> </o:p> And notice that no /dev/mapper/mpath0 device special files were created:<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 etc]# ls -la /dev/mapper<o:p></o:p> total 0<o:p></o:p> drwxr-xr-x 2 root root 160 Jan 29 09:53 .<o:p></o:p> drwxr-xr-x 9 root root 4900 Jan 29 09:51 ..<o:p></o:p> crw------- 1 root root 10, 63 Jan 21 16:15 control<o:p></o:p> brw-rw---- 1 root disk 253, 0 Jan 21 16:15 mpath1<o:p></o:p> brw-rw---- 1 root disk 253, 1 Jan 21 16:15 mpath1p1<o:p></o:p> brw-rw---- 1 root disk 253, 2 Jan 21 16:15 mpath1p2<o:p></o:p> brw-rw---- 1 root disk 253, 3 Jan 21 16:15 mpath1p3<o:p></o:p> brw-rw---- 1 root disk 253, 4 Jan 21 16:15 mpath1p5<o:p></o:p> [root@svwdcvispay01 etc]#<o:p></o:p> <o:p> </o:p> <pre>My /etc/multipath.conf file is basic but I have tried creating an alias entry that looks like “multipaths {multipath {wwid 36005076801810085c800000000000194 alias os}}” for the first LUN but the results are the same, it still won’t create any device special files for the first LUN.<o:p></o:p></pre> <o:p> </o:p> [root@svwdcvispay01 mapper]# cat /etc/multipath.conf | grep -v "#"<o:p></o:p> <o:p> </o:p> defaults {<o:p></o:p> user_friendly_names yes<o:p></o:p> }<o:p></o:p> <o:p> </o:p> [root@svwdcvispay01 mapper]#<o:p></o:p> <o:p> </o:p> I have been working this issue for over a week with IBM and RedHat tech support and they have been unhelpful. I need to get this functional because the server in question has been unstable using a single path to the SAN due to stability issues we have had periodically with one of the SAN Volume Controllers. If additional information is needed to troubleshoot this please let me know.<o:p></o:p> <o:p> </o:p> Joe little<o:p></o:p> <a href="mailto:littlej@ae.com">littlej@ae.com</a><o:p></o:p> <o:p> </o:p> <div class=MsoNormal align=center style='text-align:center'> <hr size=2 width="100%" align=center> </div> -- dm-devel mailing list dm-devel@redhat.com https://www.redhat.com/mailman/listinfo/dm-devel<o:p></o:p> </blockquote> </div> </body> </html>