<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
        {page:Section1;}
-->
</style><!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="Section1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D">I was fighting a very similar issue today.  I am not familiar with the fencing you are using, but I would guess your fence device is not working properly. 
 If a node fails and the fencing doesn’t succeed it will halt all gfs activity.  If a clustat shows both nodes and the quorum disk online, but no rgmanager try running a fence_tool leave and fence_tool join on both nodes.  That worked for me today.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D">Starting one node with the other node down is failing because it is trying to fence all nodes not present before proceeding.  I am testing clean_start=”1”
 in the cluster.conf.  It has worked well so far.  I would definitely read the man page for fenced about clean_start before using it.  It does have some risks.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D">Gary<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D"><o:p> </o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> linux-cluster-bounces@redhat.com [mailto:linux-cluster-bounces@redhat.com]
<b>On Behalf Of </b>Mikko Partio<br>
<b>Sent:</b> Wednesday, March 18, 2009 2:43 AM<br>
<b>To:</b> linux clustering<br>
<b>Subject:</b> [Linux-cluster] Problems with cluster (fencing?)<o:p></o:p></span></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Hello all<br>
<br>
I have a two-node cluster with a quorum disk. <br>
<br>
When I pull off the power cord from one node, the other node freezes the shared gfs-volumes and all activity stops, even though the cluster maintains quorum. When the other node boots up, I can see that "starting fencing" takes many minutes and afterwards starting
 clvmd fails. That node therefore cannot mount gfs disks since the underlying lvm volumes are missing.
<br>
<br>
Also, if I shut down both nodes and start just one of them, the starting node still waits in the "starting fencing" part many minutes even though the cluster should be quorate (there's a quorum disk)!<br>
<br>
Fencing method used is HP iLO 2. I don't remember seeing this in CentOS 5.1 (now running 5.2). Any clue what might cause this?<br>
<br>
Regards<br>
<br>
Mikko<o:p></o:p></p>
</div>
<br>
<hr>
<font face="Arial" color="Gray" size="1">IMPORTANT NOTICE: This e-mail message and all attachments, if any, may contain confidential and privileged material and are intended only for the person or entity to which the message is addressed. If you are not an
 intended recipient, you are hereby notified that any use, dissemination, distribution, disclosure, or copying of this information is unauthorized and strictly prohibited. If you have received this communication in error, please contact the sender immediately
 by reply e-mail, and destroy all copies of the original message.<br>
</font>
</body>
</html>