[Linux-cluster] Re: generic error on gfs status
David M
diggercheer at gmail.com
Wed Apr 11 16:00:40 UTC 2007
The problem seems to be that the status check is failing on
/usr/share/cluster/clusterfs.sh. Either "isMounted" or "isAlive" (in
/usr/share/cluster/clusterfs.sh) is failing to return a "0".
It seems that whenever the "status" polling on a particular init script
returns a "1", the rgmanager checks the file system. Every time, the
clusterfs.sh returns a "1" (rather than a "0"). Then, the service is
disabled and re-enabled.
I will try to find out why clusterfs.sh is not returning a "0".
On 4/9/07, David M <diggercheer at gmail.com> wrote:
>
> I am running a four node GFS cluster with about 20 services per node. All
> four nodes belong to the same failover domain, and they each have a priority
> of 1. My shared storage is an iSCSI SAN (on a dedicated switch).
>
> Over the last 24 hours, /gfsdata has logged 90 "notices" in the daemon log
> stating that the gfs "status" check returned a generic error:
> clurgmgrd[6074]: <notice> status on clusterfs "/gfsdata" returned 1
> (generic error)
> clurgmgrd[6074]: <notice> Stopping service service1_03
> clurgmgrd[6074]: <notice> Service service1_03 is recovering
> clurgmgrd[6074]: <notice> Recovering failed service service1_03
> clurgmgrd[6074]: <notice> Service service1_03 started
>
> So, everytime /gfsdata returns a generic error, the rgmanager restarts a
> service.
>
> Can anyone shed any light on why I might be losing my mount point or why
> gfs is returning a 1?
>
> Thank you for your help.
>
> cat /proc/mounts
>
> /dev/vg0/gfslv /gfsdata gfs rw,noatime,nodiratime 0 0
>
> cman_tool services:
>
> NODE01:
> Service Name GID LID State Code
> Fence Domain: "default" 4 2 run -
> [1 3 2 4]
>
> DLM Lock Space: "clvmd" 1 3 run -
> [1 3 2 4]
>
> DLM Lock Space: "Magma" 3 5 run -
> [1 3 2 4]
>
> DLM Lock Space: "gfslv" 5 6 run -
> [2 1 3 4]
>
> GFS Mount Group: "gfslv" 6 7 run -
> [2 1 3 4]
>
> User: "usrm::manager" 2 4 run -
> [1 3 2 4]
>
>
> Node02:
> Service Name GID LID State Code
> Fence Domain: "default" 4 5 run -
> [1 3 2 4]
>
> DLM Lock Space: "clvmd" 1 1 run -
> [1 3 2 4]
>
> DLM Lock Space: "Magma" 3 3 run -
> [1 3 2 4]
>
> DLM Lock Space: "gfslv" 5 6 run -
> [1 4 2 3]
>
> GFS Mount Group: "gfslv" 6 7 run -
> [1 4 2 3]
>
> User: "usrm::manager" 2 2 run -
> [1 3 2 4]
>
>
> NODE03:
> Service Name GID LID State Code
> Fence Domain: "default" 4 2 run -
> [1 2 3 4]
>
> DLM Lock Space: "clvmd" 1 3 run -
> [1 2 3 4]
>
> DLM Lock Space: "Magma" 3 5 run -
> [1 2 3 4]
>
> DLM Lock Space: "gfslv" 5 6 run -
> [1 2 4 3]
>
> GFS Mount Group: "gfslv" 6 7 run -
> [1 2 4 3]
>
> User: "usrm::manager" 2 4 run -
> [1 2 3 4]
>
>
> NODE04:
> Service Name GID LID State Code
> Fence Domain: "default" 4 2 run -
> [1 2 3 4]
>
> DLM Lock Space: "clvmd" 1 3 run -
> [1 2 3 4]
>
> DLM Lock Space: "Magma" 3 5 run -
> [1 2 3 4]
>
> DLM Lock Space: "gfslv" 5 6 run -
> [1 4 2 3]
>
> GFS Mount Group: "gfslv" 6 7 run -
> [1 4 2 3]
>
> User: "usrm::manager" 2 4 run -
> [1 2 3 4]
>
>
> cat /proc/slabinfo
> slabinfo - version: 2.0
> # name <active_objs> <num_objs> <objsize> <objperslab>
> <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : slabdata
> <active_slabs> <num_slabs> <sharedavail>
> gfs_meta_header_cache 127 147 80 49 1 : tunables 120
> 60 8 : slabdata 3 3 0
> gfs_bufdata 16 50 160 25 1 : tunables 120 60 8
> : slabdata 2 2 0
> gfs_inode 284 287 536 7 1 : tunables 54 27 8
> : slabdata 41 41 0
> gfs_glock 2156 2196 312 12 1 : tunables 54 27 8
> : slabdata 183 183 0
> gfs_bio_wrapper 520 675 16 225 1 : tunables 120 60 8
> : slabdata 3 3 0
> dlm_conn 6 20 192 20 1 : tunables 120 60 8
> : slabdata 1 1 0
> dlm_lvb/range 6446 6545 32 119 1 : tunables 120 60 8
> : slabdata 55 55 0
> dlm_resdir(s) 553 1932 56 69 1 : tunables 120 60 8
> : slabdata 28 28 0
> dlm_resdir(l) 0 0 88 45 1 : tunables 120 60 8
> : slabdata 0 0 0
> dlm_lkb 3318298 3318298 232 17 1 : tunables 120 60
> 8 : slabdata 195194 195194 0
> dlm_rsb(large) 1 13 304 13 1 : tunables 54 27 8
> : slabdata 1 1 0
> dlm_rsb(small) 1994 2254 272 14 1 : tunables 54 27 8
> : slabdata 161 161 0
> cluster_sock 6 22 704 11 2 : tunables 54 27 8
> : slabdata 2 2 0
> rpc_buffers 8 8 2048 2 1 : tunables 24 12 8
> : slabdata 4 4 0
> rpc_tasks 8 12 320 12 1 : tunables 54 27 8
> : slabdata 1 1 0
> rpc_inode_cache 6 8 832 4 1 : tunables 54 27 8
> : slabdata 2 2 0
> iscsi_task_cache 287 287 96 41 1 : tunables 120 60 8
> : slabdata 7 7 60
> msi_cache 2 2 5760 1 2 : tunables 8 4 0
> : slabdata 2 2 0
> fib6_nodes 9 61 64 61 1 : tunables 120 60 8
> : slabdata 1 1 0
> ip6_dst_cache 8 24 320 12 1 : tunables 54 27 8
> : slabdata 2 2 0
> ndisc_cache 2 15 256 15 1 : tunables 120 60 8
> : slabdata 1 1 0
> rawv6_sock 6 8 1024 4 1 : tunables 54 27 8
> : slabdata 2 2 0
> udpv6_sock 2 4 1024 4 1 : tunables 54 27 8
> : slabdata 1 1 0
> tcpv6_sock 7 8 1728 4 2 : tunables 24 12 8
> : slabdata 2 2 0
> ip_fib_alias 38 119 32 119 1 : tunables 120 60 8
> : slabdata 1 1 0
> ip_fib_hash 38 61 64 61 1 : tunables 120 60 8
> : slabdata 1 1 0
> uhci_urb_priv 0 0 88 45 1 : tunables 120 60 8
> : slabdata 0 0 0
> dm-snapshot-in 128 140 112 35 1 : tunables 120 60 8
> : slabdata 4 4 0
> dm-snapshot-ex 0 0 32 119 1 : tunables 120 60 8
> : slabdata 0 0 0
> ext3_inode_cache 34129 34144 840 4 1 : tunables 54 27 8
> : slabdata 8536 8536 0
> ext3_xattr 0 0 88 45 1 : tunables 120 60 8
> : slabdata 0 0 0
> journal_handle 24 162 48 81 1 : tunables 120 60 8
> : slabdata 2 2 0
> journal_head 125 270 88 45 1 : tunables 120 60 8
> : slabdata 6 6 0
> revoke_table 4 225 16 225 1 : tunables 120 60 8
> : slabdata 1 1 0
> revoke_record 0 0 32 119 1 : tunables 120 60 8
> : slabdata 0 0 0
> dm_tio 1345 1560 24 156 1 : tunables 120 60 8
> : slabdata 10 10 0
> dm_io 1345 1536 40 96 1 : tunables 120 60 8
> : slabdata 16 16 0
> scsi_cmd_cache 22 35 512 7 1 : tunables 54 27 8
> : slabdata 4 5 0
> sgpool-128 32 32 4096 1 1 : tunables 24 12 8
> : slabdata 32 32 0
> sgpool-64 32 32 2048 2 1 : tunables 24 12 8
> : slabdata 16 16 0
> sgpool-32 32 36 1024 4 1 : tunables 54 27 8
> : slabdata 8 9 0
> sgpool-16 32 32 512 8 1 : tunables 54 27 8
> : slabdata 4 4 0
> sgpool-8 60 75 256 15 1 : tunables 120 60 8
> : slabdata 5 5 0
> unix_sock 104 125 768 5 1 : tunables 54 27 8
> : slabdata 25 25 0
> ip_mrt_cache 0 0 128 31 1 : tunables 120 60 8
> : slabdata 0 0 0
> tcp_tw_bucket 106 180 192 20 1 : tunables 120 60 8
> : slabdata 9 9 0
> tcp_bind_bucket 155 357 32 119 1 : tunables 120 60 8
> : slabdata 3 3 0
> tcp_open_request 18 31 128 31 1 : tunables 120 60 8
> : slabdata 1 1 0
> inet_peer_cache 25 62 128 31 1 : tunables 120 60 8
> : slabdata 2 2 0
> secpath_cache 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8
> : slabdata 0 0 0
> ip_dst_cache 148 170 384 10 1 : tunables 54 27 8
> : slabdata 17 17 0
> arp_cache 10 15 256 15 1 : tunables 120 60 8
> : slabdata 1 1 0
> raw_sock 8 9 832 9 2 : tunables 54 27 8
> : slabdata 1 1 0
> udp_sock 29 36 832 9 2 : tunables 54 27 8
> : slabdata 4 4 0
> tcp_sock 75 75 1536 5 2 : tunables 24 12 8
> : slabdata 15 15 0
> flow_cache 0 0 128 31 1 : tunables 120 60 8
> : slabdata 0 0 0
> mqueue_inode_cache 1 4 896 4 1 : tunables 54 27
> 8 : slabdata 1 1 0
> relayfs_inode_cache 0 0 576 7 1 : tunables 54 27
> 8 : slabdata 0 0 0
> isofs_inode_cache 0 0 616 6 1 : tunables 54 27 8
> : slabdata 0 0 0
> hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54
> 27 8 : slabdata 1 1 0
> ext2_inode_cache 0 0 736 5 1 : tunables 54 27 8
> : slabdata 0 0 0
> ext2_xattr 0 0 88 45 1 : tunables 120 60 8
> : slabdata 0 0 0
> dquot 0 0 224 17 1 : tunables 120 60 8
> : slabdata 0 0 0
> eventpoll_pwq 1 54 72 54 1 : tunables 120 60 8
> : slabdata 1 1 0
> eventpoll_epi 1 20 192 20 1 : tunables 120 60 8
> : slabdata 1 1 0
> kioctx 0 0 384 10 1 : tunables 54 27 8
> : slabdata 0 0 0
> kiocb 0 0 256 15 1 : tunables 120 60 8
> : slabdata 0 0 0
> dnotify_cache 2 96 40 96 1 : tunables 120 60 8
> : slabdata 1 1 0
> fasync_cache 1 156 24 156 1 : tunables 120 60 8
> : slabdata 1 1 0
> shmem_inode_cache 281 290 800 5 1 : tunables 54 27 8
> : slabdata 58 58 0
> posix_timers_cache 0 0 184 21 1 : tunables 120 60
> 8 : slabdata 0 0 0
> uid_cache 4 31 128 31 1 : tunables 120 60 8
> : slabdata 1 1 0
> cfq_pool 86 138 56 69 1 : tunables 120 60 8
> : slabdata 2 2 0
> crq_pool 34 216 72 54 1 : tunables 120 60 8
> : slabdata 4 4 0
> deadline_drq 0 0 96 41 1 : tunables 120 60 8
> : slabdata 0 0 0
> as_arq 0 0 112 35 1 : tunables 120 60 8
> : slabdata 0 0 0
> blkdev_ioc 31 119 32 119 1 : tunables 120 60 8
> : slabdata 1 1 0
> blkdev_queue 27 54 848 9 2 : tunables 54 27 8
> : slabdata 6 6 0
> blkdev_requests 21 105 264 15 1 : tunables 54 27 8
> : slabdata 7 7 0
> biovec-(256) 256 256 4096 1 1 : tunables 24 12 8
> : slabdata 256 256 0
> biovec-128 256 256 2048 2 1 : tunables 24 12 8
> : slabdata 128 128 0
> biovec-64 256 256 1024 4 1 : tunables 54 27 8
> : slabdata 64 64 0
> biovec-16 256 270 256 15 1 : tunables 120 60 8
> : slabdata 18 18 0
> biovec-4 256 305 64 61 1 : tunables 120 60 8
> : slabdata 5 5 0
> biovec-1 388 675 16 225 1 : tunables 120 60 8
> : slabdata 3 3 60
> bio 408 465 128 31 1 : tunables 120 60 8
> : slabdata 15 15 60
> file_lock_cache 151 175 160 25 1 : tunables 120 60 8
> : slabdata 7 7 0
> sock_inode_cache 224 235 704 5 1 : tunables 54 27 8
> : slabdata 47 47 0
> skbuff_head_cache 681 852 320 12 1 : tunables 54 27 8
> : slabdata 71 71 54
> sock 24 24 640 6 1 : tunables 54 27 8
> : slabdata 4 4 0
> proc_inode_cache 812 816 600 6 1 : tunables 54 27 8
> : slabdata 136 136 0
> sigqueue 188 253 168 23 1 : tunables 120 60 8
> : slabdata 11 11 0
> radix_tree_node 20031 20069 536 7 1 : tunables 54 27 8
> : slabdata 2867 2867 0
> bdev_cache 46 50 768 5 1 : tunables 54 27 8
> : slabdata 10 10 0
> mnt_cache 28 60 192 20 1 : tunables 120 60 8
> : slabdata 3 3 0
> audit_watch_cache 0 0 88 45 1 : tunables 120 60 8
> : slabdata 0 0 0
> inode_cache 3969 3969 568 7 1 : tunables 54 27 8
> : slabdata 567 567 27
> dentry_cache 1617792 1617792 240 16 1 : tunables 120 60
> 8 : slabdata 101112 101112 0
> filp 1747 1815 256 15 1 : tunables 120 60 8
> : slabdata 121 121 60
> names_cache 51 51 4096 1 1 : tunables 24 12 8
> : slabdata 51 51 12
> avc_node 13 378 72 54 1 : tunables 120 60 8
> : slabdata 7 7 0
> key_jar 8 20 192 20 1 : tunables 120 60 8
> : slabdata 1 1 0
> idr_layer_cache 101 105 528 7 1 : tunables 54 27 8
> : slabdata 15 15 0
> buffer_head 53280 53415 88 45 1 : tunables 120 60 8
> : slabdata 1187 1187 0
> mm_struct 140 147 1152 7 2 : tunables 24 12 8
> : slabdata 21 21 36
> vm_area_struct 5098 5478 176 22 1 : tunables 120 60 8
> : slabdata 249 249 240
> fs_cache 316 427 64 61 1 : tunables 120 60 8
> : slabdata 7 7 60
> files_cache 194 216 832 9 2 : tunables 54 27 8
> : slabdata 24 24 27
> signal_cache 297 360 256 15 1 : tunables 120 60 8
> : slabdata 24 24 0
> sighand_cache 178 183 2112 3 2 : tunables 24 12 8
> : slabdata 61 61 0
> task_struct 213 218 1984 2 1 : tunables 24 12 8
> : slabdata 109 109 12
> anon_vma 1960 2184 24 156 1 : tunables 120 60 8
> : slabdata 14 14 60
> shared_policy_node 0 0 56 69 1 : tunables 120 60
> 8 : slabdata 0 0 0
> numa_policy 44 450 16 225 1 : tunables 120 60 8
> : slabdata 2 2 0
> size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0
> : slabdata 0 0 0
> size-131072 1 1 131072 1 32 : tunables 8 4 0
> : slabdata 1 1 0
> size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0
> : slabdata 0 0 0
> size-65536 1 1 65536 1 16 : tunables 8 4 0
> : slabdata 1 1 0
> size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0
> : slabdata 0 0 0
> size-32768 4 4 32768 1 8 : tunables 8 4 0
> : slabdata 4 4 0
> size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0
> : slabdata 0 0 0
> size-16384 3 3 16384 1 4 : tunables 8 4 0
> : slabdata 3 3 0
> size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0
> : slabdata 0 0 0
> size-8192 56 56 8192 1 2 : tunables 8 4 0
> : slabdata 56 56 0
> size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8
> : slabdata 0 0 0
> size-4096 172 172 4096 1 1 : tunables 24 12 8
> : slabdata 172 172 0
> size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8
> : slabdata 0 0 0
> size-2048 113 114 2048 2 1 : tunables 24 12 8
> : slabdata 57 57 0
> size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 8
> : slabdata 0 0 0
> size-1620 53 60 1664 4 2 : tunables 24 12 8
> : slabdata 15 15 0
> size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8
> : slabdata 0 0 0
> size-1024 1126 1240 1024 4 1 : tunables 54 27 8
> : slabdata 310 310 81
> size-512(DMA) 0 0 512 8 1 : tunables 54 27 8
> : slabdata 0 0 0
> size-512 2060 2064 512 8 1 : tunables 54 27 8
> : slabdata 258 258 65
> size-256(DMA) 0 0 256 15 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-256 1137540 1137540 256 15 1 : tunables 120 60
> 8 : slabdata 75836 75836 0
> size-128(DMA) 0 0 128 31 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-128 2335 2790 128 31 1 : tunables 120 60 8
> : slabdata 90 90 30
> size-64(DMA) 0 0 64 61 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-64 8619 11163 64 61 1 : tunables 120 60 8
> : slabdata 183 183 90
> size-32(DMA) 0 0 32 119 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-32 2697 3570 32 119 1 : tunables 120 60 8
> : slabdata 30 30 60
> kmem_cache 180 180 256 15 1 : tunables 120 60 8
> : slabdata 12 12 0
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://listman.redhat.com/archives/linux-cluster/attachments/20070411/3071fe25/attachment.htm>
More information about the Linux-cluster
mailing list