Thanks Jeff for the reply. It looks like bridge created by xen network-script is somewhat different comparing to bridge created using ifcfg-* (Referring to <a href="http://www.cyberciti.biz/faq/tag/full-bridge/">http://www.cyberciti.biz/faq/tag/full-bridge/</a>)<div>
<br></div><div>Wondering why the network-script works (assuming no interference to cman) when executed as root after login and doesnot work when used with xend-config. Might be a question to the xen users .</div><div><br>
</div><div>Thanks</div><div>Paras.</div><div><br><br><div class="gmail_quote">On Mon, Aug 30, 2010 at 12:24 PM, Jeff Sturm <span dir="ltr"><<a href="mailto:jeff.sturm@eprize.com">jeff.sturm@eprize.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">The network-bridge script does some pretty horrific things to networking while it starts.  I’m not surprised if the interruption is enough to cause CMAN to fail.</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">We avoided this by not using Xen’s network-bridge utility.  Just configure your physical interfaces and bridge devices in /etc/sysconfig/network-scripts, and specify a bridge name in each /etc/xen/<domU> script.  (In xend-config.sxp you can set network-script to “/bin/true”.  Just remember to also turn on IP forwarding.)</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">The advantages of doing it this way are that you get tighter control over your host networking, and starting/stopping xend won’t interrupt networking.  (The main disadvantage is that the networking configuration is harder to port to a non-Red Hat OS, but if you already need clustering that probably doesn’t matter.)</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><b><span style="font-size:10.0pt">From:</span></b><span style="font-size:10.0pt"> <a href="mailto:linux-cluster-bounces@redhat.com" target="_blank">linux-cluster-bounces@redhat.com</a> [mailto:<a href="mailto:linux-cluster-bounces@redhat.com" target="_blank">linux-cluster-bounces@redhat.com</a>] <b>On Behalf Of </b>Paras pradhan<br>
<b>Sent:</b> Monday, August 30, 2010 12:43 PM<br><b>To:</b> linux clustering<br><b>Subject:</b> [Linux-cluster] cluster and xen bridge issue</span></p><div><div></div><div class="h5"><p class="MsoNormal"> </p><p class="MsoNormal">
Hi,</p><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">I have a three node red hat cluster (for xen virualization) and everything is running great until I add a 2nd interface and 2nd bridge.</p></div><div><p class="MsoNormal">
 </p></div><div><p class="MsoNormal">This is how I added the 2nd bridge <span><span style="font-size:9.0pt"> <a href="http://toic.org/2008/10/06/multiple-network-interfaces-in-xen/" target="_blank">http://toic.org/2008/10/06/multiple-network-interfaces-in-xen/</a></span></span></p>
</div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"><span><span style="font-size:9.0pt">After reboot, cluster comes up fine and when xend comes up, cman dies.</span></span></p></div><div><p class="MsoNormal">
 </p></div><div><p class="MsoNormal"><span><span style="font-size:9.0pt">Log (from other node):</span></span></p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"><span><span style="font-size:9.0pt">--</span></span></p>
</div><div><p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:23 cvtst2 openais[6343]: [TOTEM] Retransmit List: 52 53  </span></p><p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:23 cvtst2 last message repeated 3 times</span></p>
<p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:23 cvtst2 openais[6343]: [TOTEM] Retransmit List: 53  </span></p><p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:23 cvtst2 openais[6343]: [TOTEM] Retransmit List: 53  </span></p>
<p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:59 cvtst2 openais[6343]: [TOTEM] FAILED TO RECEIVE </span></p><p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:59 cvtst2 openais[6343]: [TOTEM] entering GATHER state from 6. </span></p>
<p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:59 cvtst2 openais[6343]: [TOTEM] FAILED TO RECEIVE </span></p><p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:13:59 cvtst2 openais[6343]: [TOTEM] entering GATHER state from 6. </span></p>
<p style="margin:0in;margin-bottom:.0001pt"><span style="font-size:9.0pt">Aug 27 15:14:00 cvtst2 openais[6343]: [TOTEM] FAILED TO RECEIVE </span></p><div><p class="MsoNormal"><span style="font-size:9.0pt">---</span></p></div>
<div><p class="MsoNormal"><span style="font-size:9.0pt"> </span></p></div><p class="MsoNormal"><span><span>But if I execute as root (for 2nd bridge) : /etc/xen/scripts/network-bridge start vifnum=1 netdev=eth1 bridge=xenbr1,</span></span><span><br>
<span>I am not seeing any issue. </span></span></p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"><span><span>It looks like after the cman started , xend is trying to reconfigure the both bridges and cluster dies.</span></span><span><br>
<span>I hope I explained properly.</span><br><span>Need some help</span><br><span>Thanks</span><br><span>Paras.</span></span><span><span style="font-size:9.0pt"></span></span></p><div><p class="MsoNormal" style="line-height:14.25pt">
<span style="font-size:9.0pt;font-family:"Courier New";color:#666666"><br><br><span></span></span></p></div><div><p class="MsoNormal"> </p></div></div></div></div></div></div><br>--<br>
Linux-cluster mailing list<br>
<a href="mailto:Linux-cluster@redhat.com">Linux-cluster@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/linux-cluster" target="_blank">https://www.redhat.com/mailman/listinfo/linux-cluster</a><br></blockquote></div><br></div>