<div>I am running a four node GFS cluster with about 20 services per node. All four nodes belong to the same failover domain, and they each have a priority of 1. My shared storage is an iSCSI SAN (on a dedicated switch).
</div>
<div> </div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Over the last 24 hours, /gfsdata has logged 90 "notices" in the daemon log stating that the gfs "status" check returned a generic error:</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">clurgmgrd[6074]: <notice> status on clusterfs "/gfsdata" returned 1 (generic error)</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">clurgmgrd[6074]: <notice> Stopping service service1_03</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">clurgmgrd[6074]: <notice> Service service1_03 is recovering</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">clurgmgrd[6074]: <notice> Recovering failed service service1_03</span></span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">clurgmgrd[6074]: <notice> Service service1_03 started
</span></span></span></span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"></span></span><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"></span> </div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">So, everytime /gfsdata returns a generic error, the rgmanager restarts a service.</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"></span> </div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Can anyone shed any light on why I might be losing my mount point or why gfs is returning a 1?</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"></span> </div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Thank you for your help.</span></div>
<div><span style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">
<p>cat /proc/mounts</p>
<p>/dev/vg0/gfslv /gfsdata gfs rw,noatime,nodiratime 0 0</p>
<p>cman_tool services:</p>
<p>NODE01:<br>Service Name GID LID State Code<br>Fence Domain: "default" 4 2 run -<br>[1 3 2 4]</p>
<p>DLM Lock Space: "clvmd" 1 3 run -<br>[1 3 2 4]</p>
<p>DLM Lock Space: "Magma" 3 5 run -<br>[1 3 2 4]</p>
<p>DLM Lock Space: "gfslv" 5 6 run -<br>[2 1 3 4]</p>
<p>GFS Mount Group: "gfslv" 6 7 run -<br>[2 1 3 4]</p>
<p>User: "usrm::manager" 2 4 run -<br>[1 3 2 4]</p>
<p><br>Node02:<br>Service Name GID LID State Code<br>Fence Domain: "default" 4 5 run -<br>[1 3 2 4]</p>
<p>DLM Lock Space: "clvmd" 1 1 run -<br>[1 3 2 4]</p>
<p>DLM Lock Space: "Magma" 3 3 run -<br>[1 3 2 4]</p>
<p>DLM Lock Space: "gfslv" 5 6 run -<br>[1 4 2 3]</p>
<p>GFS Mount Group: "gfslv" 6 7 run -<br>[1 4 2 3]</p>
<p>User: "usrm::manager" 2 2 run -<br>[1 3 2 4]</p>
<p><br>NODE03:<br>Service Name GID LID State Code<br>Fence Domain: "default" 4 2 run -<br>[1 2 3 4]</p>
<p>DLM Lock Space: "clvmd" 1 3 run -<br>[1 2 3 4]</p>
<p>DLM Lock Space: "Magma" 3 5 run -<br>[1 2 3 4]</p>
<p>DLM Lock Space: "gfslv" 5 6 run -<br>[1 2 4 3]</p>
<p>GFS Mount Group: "gfslv" 6 7 run -<br>[1 2 4 3]</p>
<p>User: "usrm::manager" 2 4 run -<br>[1 2 3 4]</p>
<p><br>NODE04:<br>Service Name GID LID State Code<br>Fence Domain: "default" 4 2 run -<br>[1 2 3 4]</p>
<p>DLM Lock Space: "clvmd" 1 3 run -<br>[1 2 3 4]</p>
<p>DLM Lock Space: "Magma" 3 5 run -<br>[1 2 3 4]</p>
<p>DLM Lock Space: "gfslv" 5 6 run -<br>[1 4 2 3]</p>
<p>GFS Mount Group: "gfslv" 6 7 run -<br>[1 4 2 3]</p>
<p>User: "usrm::manager" 2 4 run -<br>[1 2 3 4]</p>
<p><br>cat /proc/slabinfo<br>slabinfo - version: 2.0<br># name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
<br>gfs_meta_header_cache 127 147 80 49 1 : tunables 120 60 8 : slabdata 3 3 0<br>gfs_bufdata 16 50 160 25 1 : tunables 120 60 8 : slabdata 2 2 0
<br>gfs_inode 284 287 536 7 1 : tunables 54 27 8 : slabdata 41 41 0<br>gfs_glock 2156 2196 312 12 1 : tunables 54 27 8 : slabdata 183 183 0<br>
gfs_bio_wrapper 520 675 16 225 1 : tunables 120 60 8 : slabdata 3 3 0<br>dlm_conn 6 20 192 20 1 : tunables 120 60 8 : slabdata 1 1 0<br>dlm_lvb/range 6446 6545 32 119 1 : tunables 120 60 8 : slabdata 55 55 0
<br>dlm_resdir(s) 553 1932 56 69 1 : tunables 120 60 8 : slabdata 28 28 0<br>dlm_resdir(l) 0 0 88 45 1 : tunables 120 60 8 : slabdata 0 0 0<br>
dlm_lkb 3318298 3318298 232 17 1 : tunables 120 60 8 : slabdata 195194 195194 0<br>dlm_rsb(large) 1 13 304 13 1 : tunables 54 27 8 : slabdata 1 1 0<br>
dlm_rsb(small) 1994 2254 272 14 1 : tunables 54 27 8 : slabdata 161 161 0<br>cluster_sock 6 22 704 11 2 : tunables 54 27 8 : slabdata 2 2 0<br>rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 : slabdata 4 4 0
<br>rpc_tasks 8 12 320 12 1 : tunables 54 27 8 : slabdata 1 1 0<br>rpc_inode_cache 6 8 832 4 1 : tunables 54 27 8 : slabdata 2 2 0<br>
iscsi_task_cache 287 287 96 41 1 : tunables 120 60 8 : slabdata 7 7 60<br>msi_cache 2 2 5760 1 2 : tunables 8 4 0 : slabdata 2 2 0<br>fib6_nodes 9 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0
<br>ip6_dst_cache 8 24 320 12 1 : tunables 54 27 8 : slabdata 2 2 0<br>ndisc_cache 2 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0<br>
rawv6_sock 6 8 1024 4 1 : tunables 54 27 8 : slabdata 2 2 0<br>udpv6_sock 2 4 1024 4 1 : tunables 54 27 8 : slabdata 1 1 0<br>tcpv6_sock 7 8 1728 4 2 : tunables 24 12 8 : slabdata 2 2 0
<br>ip_fib_alias 38 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0<br>ip_fib_hash 38 61 64 61 1 : tunables 120 60 8 : slabdata 1 1 0<br>
uhci_urb_priv 0 0 88 45 1 : tunables 120 60 8 : slabdata 0 0 0<br>dm-snapshot-in 128 140 112 35 1 : tunables 120 60 8 : slabdata 4 4 0<br>dm-snapshot-ex 0 0 32 119 1 : tunables 120 60 8 : slabdata 0 0 0
<br>ext3_inode_cache 34129 34144 840 4 1 : tunables 54 27 8 : slabdata 8536 8536 0<br>ext3_xattr 0 0 88 45 1 : tunables 120 60 8 : slabdata 0 0 0<br>
journal_handle 24 162 48 81 1 : tunables 120 60 8 : slabdata 2 2 0<br>journal_head 125 270 88 45 1 : tunables 120 60 8 : slabdata 6 6 0<br>revoke_table 4 225 16 225 1 : tunables 120 60 8 : slabdata 1 1 0
<br>revoke_record 0 0 32 119 1 : tunables 120 60 8 : slabdata 0 0 0<br>dm_tio 1345 1560 24 156 1 : tunables 120 60 8 : slabdata 10 10 0<br>
dm_io 1345 1536 40 96 1 : tunables 120 60 8 : slabdata 16 16 0<br>scsi_cmd_cache 22 35 512 7 1 : tunables 54 27 8 : slabdata 4 5 0<br>sgpool-128 32 32 4096 1 1 : tunables 24 12 8 : slabdata 32 32 0
<br>sgpool-64 32 32 2048 2 1 : tunables 24 12 8 : slabdata 16 16 0<br>sgpool-32 32 36 1024 4 1 : tunables 54 27 8 : slabdata 8 9 0<br>
sgpool-16 32 32 512 8 1 : tunables 54 27 8 : slabdata 4 4 0<br>sgpool-8 60 75 256 15 1 : tunables 120 60 8 : slabdata 5 5 0<br>unix_sock 104 125 768 5 1 : tunables 54 27 8 : slabdata 25 25 0
<br>ip_mrt_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0<br>tcp_tw_bucket 106 180 192 20 1 : tunables 120 60 8 : slabdata 9 9 0<br>
tcp_bind_bucket 155 357 32 119 1 : tunables 120 60 8 : slabdata 3 3 0<br>tcp_open_request 18 31 128 31 1 : tunables 120 60 8 : slabdata 1 1 0<br>inet_peer_cache 25 62 128 31 1 : tunables 120 60 8 : slabdata 2 2 0
<br>secpath_cache 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0<br>
ip_dst_cache 148 170 384 10 1 : tunables 54 27 8 : slabdata 17 17 0<br>arp_cache 10 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0<br>raw_sock 8 9 832 9 2 : tunables 54 27 8 : slabdata 1 1 0
<br>udp_sock 29 36 832 9 2 : tunables 54 27 8 : slabdata 4 4 0<br>tcp_sock 75 75 1536 5 2 : tunables 24 12 8 : slabdata 15 15 0<br>
flow_cache 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0<br>mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8 : slabdata 1 1 0<br>
relayfs_inode_cache 0 0 576 7 1 : tunables 54 27 8 : slabdata 0 0 0<br>isofs_inode_cache 0 0 616 6 1 : tunables 54 27 8 : slabdata 0 0 0<br>
hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54 27 8 : slabdata 1 1 0<br>ext2_inode_cache 0 0 736 5 1 : tunables 54 27 8 : slabdata 0 0 0<br>
ext2_xattr 0 0 88 45 1 : tunables 120 60 8 : slabdata 0 0 0<br>dquot 0 0 224 17 1 : tunables 120 60 8 : slabdata 0 0 0<br>eventpoll_pwq 1 54 72 54 1 : tunables 120 60 8 : slabdata 1 1 0
<br>eventpoll_epi 1 20 192 20 1 : tunables 120 60 8 : slabdata 1 1 0<br>kioctx 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0<br>
kiocb 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0<br>dnotify_cache 2 96 40 96 1 : tunables 120 60 8 : slabdata 1 1 0<br>fasync_cache 1 156 24 156 1 : tunables 120 60 8 : slabdata 1 1 0
<br>shmem_inode_cache 281 290 800 5 1 : tunables 54 27 8 : slabdata 58 58 0<br>posix_timers_cache 0 0 184 21 1 : tunables 120 60 8 : slabdata 0 0 0
<br>uid_cache 4 31 128 31 1 : tunables 120 60 8 : slabdata 1 1 0<br>cfq_pool 86 138 56 69 1 : tunables 120 60 8 : slabdata 2 2 0<br>
crq_pool 34 216 72 54 1 : tunables 120 60 8 : slabdata 4 4 0<br>deadline_drq 0 0 96 41 1 : tunables 120 60 8 : slabdata 0 0 0<br>as_arq 0 0 112 35 1 : tunables 120 60 8 : slabdata 0 0 0
<br>blkdev_ioc 31 119 32 119 1 : tunables 120 60 8 : slabdata 1 1 0<br>blkdev_queue 27 54 848 9 2 : tunables 54 27 8 : slabdata 6 6 0<br>
blkdev_requests 21 105 264 15 1 : tunables 54 27 8 : slabdata 7 7 0<br>biovec-(256) 256 256 4096 1 1 : tunables 24 12 8 : slabdata 256 256 0<br>biovec-128 256 256 2048 2 1 : tunables 24 12 8 : slabdata 128 128 0
<br>biovec-64 256 256 1024 4 1 : tunables 54 27 8 : slabdata 64 64 0<br>biovec-16 256 270 256 15 1 : tunables 120 60 8 : slabdata 18 18 0<br>
biovec-4 256 305 64 61 1 : tunables 120 60 8 : slabdata 5 5 0<br>biovec-1 388 675 16 225 1 : tunables 120 60 8 : slabdata 3 3 60<br>bio 408 465 128 31 1 : tunables 120 60 8 : slabdata 15 15 60
<br>file_lock_cache 151 175 160 25 1 : tunables 120 60 8 : slabdata 7 7 0<br>sock_inode_cache 224 235 704 5 1 : tunables 54 27 8 : slabdata 47 47 0<br>
skbuff_head_cache 681 852 320 12 1 : tunables 54 27 8 : slabdata 71 71 54<br>sock 24 24 640 6 1 : tunables 54 27 8 : slabdata 4 4 0<br>proc_inode_cache 812 816 600 6 1 : tunables 54 27 8 : slabdata 136 136 0
<br>sigqueue 188 253 168 23 1 : tunables 120 60 8 : slabdata 11 11 0<br>radix_tree_node 20031 20069 536 7 1 : tunables 54 27 8 : slabdata 2867 2867 0<br>
bdev_cache 46 50 768 5 1 : tunables 54 27 8 : slabdata 10 10 0<br>mnt_cache 28 60 192 20 1 : tunables 120 60 8 : slabdata 3 3 0<br>audit_watch_cache 0 0 88 45 1 : tunables 120 60 8 : slabdata 0 0 0
<br>inode_cache 3969 3969 568 7 1 : tunables 54 27 8 : slabdata 567 567 27<br>dentry_cache 1617792 1617792 240 16 1 : tunables 120 60 8 : slabdata 101112 101112 0
<br>filp 1747 1815 256 15 1 : tunables 120 60 8 : slabdata 121 121 60<br>names_cache 51 51 4096 1 1 : tunables 24 12 8 : slabdata 51 51 12<br>
avc_node 13 378 72 54 1 : tunables 120 60 8 : slabdata 7 7 0<br>key_jar 8 20 192 20 1 : tunables 120 60 8 : slabdata 1 1 0<br>idr_layer_cache 101 105 528 7 1 : tunables 54 27 8 : slabdata 15 15 0
<br>buffer_head 53280 53415 88 45 1 : tunables 120 60 8 : slabdata 1187 1187 0<br>mm_struct 140 147 1152 7 2 : tunables 24 12 8 : slabdata 21 21 36<br>
vm_area_struct 5098 5478 176 22 1 : tunables 120 60 8 : slabdata 249 249 240<br>fs_cache 316 427 64 61 1 : tunables 120 60 8 : slabdata 7 7 60<br>files_cache 194 216 832 9 2 : tunables 54 27 8 : slabdata 24 24 27
<br>signal_cache 297 360 256 15 1 : tunables 120 60 8 : slabdata 24 24 0<br>sighand_cache 178 183 2112 3 2 : tunables 24 12 8 : slabdata 61 61 0<br>
task_struct 213 218 1984 2 1 : tunables 24 12 8 : slabdata 109 109 12<br>anon_vma 1960 2184 24 156 1 : tunables 120 60 8 : slabdata 14 14 60<br>shared_policy_node 0 0 56 69 1 : tunables 120 60 8 : slabdata 0 0 0
<br>numa_policy 44 450 16 225 1 : tunables 120 60 8 : slabdata 2 2 0<br>size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0<br>
size-131072 1 1 131072 1 32 : tunables 8 4 0 : slabdata 1 1 0<br>size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0<br>size-65536 1 1 65536 1 16 : tunables 8 4 0 : slabdata 1 1 0
<br>size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0<br>size-32768 4 4 32768 1 8 : tunables 8 4 0 : slabdata 4 4 0<br>
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0<br>size-16384 3 3 16384 1 4 : tunables 8 4 0 : slabdata 3 3 0<br>size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0
<br>size-8192 56 56 8192 1 2 : tunables 8 4 0 : slabdata 56 56 0<br>size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0<br>
size-4096 172 172 4096 1 1 : tunables 24 12 8 : slabdata 172 172 0<br>size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0<br>size-2048 113 114 2048 2 1 : tunables 24 12 8 : slabdata 57 57 0
<br>size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 8 : slabdata 0 0 0<br>size-1620 53 60 1664 4 2 : tunables 24 12 8 : slabdata 15 15 0<br>
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0<br>size-1024 1126 1240 1024 4 1 : tunables 54 27 8 : slabdata 310 310 81<br>size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0
<br>size-512 2060 2064 512 8 1 : tunables 54 27 8 : slabdata 258 258 65<br>size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0<br>
size-256 1137540 1137540 256 15 1 : tunables 120 60 8 : slabdata 75836 75836 0<br>size-128(DMA) 0 0 128 31 1 : tunables 120 60 8 : slabdata 0 0 0<br>
size-128 2335 2790 128 31 1 : tunables 120 60 8 : slabdata 90 90 30<br>size-64(DMA) 0 0 64 61 1 : tunables 120 60 8 : slabdata 0 0 0<br>size-64 8619 11163 64 61 1 : tunables 120 60 8 : slabdata 183 183 90
<br>size-32(DMA) 0 0 32 119 1 : tunables 120 60 8 : slabdata 0 0 0<br>size-32 2697 3570 32 119 1 : tunables 120 60 8 : slabdata 30 30 60<br>
kmem_cache 180 180 256 15 1 : tunables 120 60 8 : slabdata 12 12 0<br></p></span></div>