<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=us-ascii"> <meta name="Generator" content="Microsoft Word 14 (filtered medium)"> <style></style> </head> <body lang="EN-US" link="blue" vlink="purple"> <div class="WordSection1"> Hello!<o:p></o:p> <o:p> </o:p> We have a 3-node database cluster running Oracle supporting a data warehouse application. To get the thruput we need, we have 4 dual-port HBAs, and the hosts are zoned to 8 or 12 array ports. This ends up giving us a huge # of paths for DM to manage:<o:p></o:p> <o:p> </o:p> root@dbxx [/nfshome/jwasilko ] multipathd paths count<o:p></o:p> Paths: 6000<o:p></o:p> Busy: False<o:p></o:p> <o:p> </o:p> We’re running OEL 6.3, and:<o:p></o:p> device-mapper-multipath-libs-0.4.9-64.0.1.el6.x86_64<o:p></o:p> device-mapper-multipath-0.4.9-64.0.1.el6.x86_64<o:p></o:p> <o:p> </o:p> We’ve seen issues like high CPU usage when paths return, and we’re struggling to understand why we see a 30 second I/O stall across all paths when one path is failed (by disabling the switch port in the FC switch).<o:p></o:p> <o:p> </o:p> Here’s our multipath.conf:<o:p></o:p> <o:p> </o:p> blacklist { devnode "*"<o:p></o:p> }<o:p></o:p> blacklist_exceptions {<o:p></o:p> devnode "sd*"<o:p></o:p> }<o:p></o:p> defaults {<o:p></o:p> user_friendly_names yes<o:p></o:p> find_multipaths yes<o:p></o:p> fast_io_fail_tmo 1<o:p></o:p> dev_loss_tmo 30<o:p></o:p> checker_timeout 10<o:p></o:p> failback immediate<o:p></o:p> rr_weight uniform<o:p></o:p> no_path_retry fail<o:p></o:p> max_fds 8192<o:p></o:p> path_checker tur<o:p></o:p> #rr_min_io 8<o:p></o:p> rr_min_io_rq 8<o:p></o:p> polling_interval 5<o:p></o:p> path_grouping_policy multibus<o:p></o:p> path_selector "round-robin 0"<o:p></o:p> }<o:p></o:p> devices {<o:p></o:p> device {<o:p></o:p> vendor "VIOLIN"<o:p></o:p> product "SAN ARRAY"<o:p></o:p> path_grouping_policy group_by_serial<o:p></o:p> getuid_callout "/sbin/scsi_id --whitelisted --replace-whitespace --page=0x80 --device=/dev/%n"<o:p></o:p> features "1 queue_if_no_path"<o:p></o:p> hardware_handler "0"<o:p></o:p> }<o:p></o:p> device {<o:p></o:p> vendor "3PARdata"<o:p></o:p> product "VV"<o:p></o:p> path_grouping_policy multibus<o:p></o:p> path_checker tur<o:p></o:p> no_path_retry 12<o:p></o:p> features "0"<o:p></o:p> hardware_handler "0"<o:p></o:p> path_selector "round-robin 0"<o:p></o:p> #path_selector "queue-length 0"<o:p></o:p> rr_weight uniform<o:p></o:p> rr_min_io 100<o:p></o:p> failback immediate<o:p></o:p> # fast_io_fail_tmo 1<o:p></o:p> # dev_loss_tmo 30<o:p></o:p> }<o:p></o:p> }<o:p></o:p> <o:p> </o:p> Thanks, <o:p></o:p> <o:p> </o:p> -jeff<o:p></o:p> <o:p> </o:p> A little more detail on the # of luns we have:<o:p></o:p> <o:p> </o:p> <o:p> </o:p> root@dbxx [/nfshome/jwasilko ] multipathd show multipaths status<o:p></o:p> name failback queueing paths dm-st write_prot<o:p></o:p> dbxx-data-prd-t2-78 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t1-21 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-22 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-23 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-18 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-24 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-19 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-25 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-20 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-27 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-29 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-28 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-30 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-31 immediate off 32 active rw <o:p></o:p> dbxx-reco2-1 immediate off 32 active rw <o:p></o:p> dbxx-reco2-2 immediate off 32 active rw <o:p></o:p> dbxx-reco2-3 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-26 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-17 immediate off 32 active rw <o:p></o:p> dbxx-reco2-4 immediate off 32 active rw <o:p></o:p> dbxx-vote-0 immediate 12 chk 48 active rw <o:p></o:p> dbxx-vote-1 immediate 12 chk 48 active rw <o:p></o:p> dbxx-vote-2 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-0 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-1 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-2 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-3 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-4 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-5 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-6 immediate 12 chk 48 active rw <o:p></o:p> dbxx-acfs-7 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-0 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-1 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-2 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-3 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-4 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-7 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-6 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-0 immediate 12 chk 48 active rw <o:p></o:p> dbxx-arch-5 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-1 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-2 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-4 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-3 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-5 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-6 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-7 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-8 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-9 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-10 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-11 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-12 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-13 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-14 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-15 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-16 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-17 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-19 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-18 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-20 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-22 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-21 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-23 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-24 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-25 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-26 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-27 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-28 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-29 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-31 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-32 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-30 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-33 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-34 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-35 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-36 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-39 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-37 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-38 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-40 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-41 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-42 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-43 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-44 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-45 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-46 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-47 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-48 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-49 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-50 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-51 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-52 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-53 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-54 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-55 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-56 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-57 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-58 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-59 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-60 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-61 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-62 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-63 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-64 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-65 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-66 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-67 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-68 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-69 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-70 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-71 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-72 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-73 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-74 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-75 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-76 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-77 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t2-79 immediate 12 chk 48 active rw <o:p></o:p> dbxx-data-prd-t1-10 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-11 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-12 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-13 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-14 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-15 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-16 immediate off 32 active rw <o:p></o:p> dbxx-reco1-1 immediate off 32 active rw <o:p></o:p> dbxx-reco1-2 immediate off 32 active rw <o:p></o:p> dbxx-reco1-3 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-03 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-06 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-04 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-01 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-02 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-08 immediate off 32 active rw <o:p></o:p> dbxx-reco1-4 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-05 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-07 immediate off 32 active rw <o:p></o:p> dbxx-data-prd-t1-09 immediate off 32 active rw <o:p></o:p> <o:p> </o:p> <o:p> </o:p> --<o:p></o:p> Jeff Wasilko<o:p></o:p> Technical Architect, EEMS Platform Ops<o:p></o:p> <o:p> </o:p> eBay Enterprise<o:p></o:p> 781 372 4992 M 781 820 0882 F 781 863 8118 <o:p></o:p> jwasilko@ebay.com ebayenterprise.com<o:p></o:p> <o:p> </o:p> <img width="190" height="70" id="Picture_x0020_4" src="cid:image001.gif@01CEBAC1.6E2BECF0" alt="logo-email.gif"><o:p></o:p> <o:p> </o:p> </div> <hr> The information contained in this electronic mail transmission is intended only for the use of the individual or entity named in this transmission. If you are not the intended recipient of this transmission, you are hereby notified that any disclosure, copying or distribution of the contents of this transmission is strictly prohibited and that you should delete the contents of this transmission from your system immediately. Any comments or statements contained in this transmission do not necessarily reflect the views or position of eBay Enterprise. or its subsidiaries and/or affiliates. </body> </html>