<html>
<head>
<style>
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 10pt;
font-family:Verdana
}
</style>
</head>
<body class='hmmessage'>
Thank's Junra,<BR>I did it , and i tried to restart the cman service  without more success, thise are the messages i got:<BR><BR>my new cluster.conf:<BR><?xml version="1.0"?><BR><cluster alias="arevclust" config_version="1" name="arevclust"><BR>        <clusternodes><BR>        <cman expected_votes="1" two_node="1"><BR>        </cman><BR>                <clusternode name="gs21spli003.occ.lan" nodeid="1" votes="1"><BR>                </clusternode><BR>                <clusternode name="gs21spli004.occ.lan" nodeid="2" votes="1"><BR>                </clusternode><BR>        </clusternodes><BR></cluster><BR>~                                                                      <BR>j<BR><BR>cman not started: Multicast and node address families differ. /usr/sbin/cman_tool: aisexec daemon didn't start<BR>when i mounted the gfs FS i got this:<BR># mount -t gfs2 /dev/mapper/VolGroup01-LogVol01  /appli/prod<BR>/sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>/sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>/sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR><BR>I 'm not sure but i have a doubt on the lockTableName  during  the FS GFS creation:<BR>mkfs.gfs2 -p lock_dlm -t arevclust:appli/prod -j 1 /dev/mapper/VolGroup00-LogVol01,  the name of the cluster is: arevclust<BR>The gfs File system is made by /dev/mapper/volGroup00-LogVol01 and the mounting point is /appli/prod, so if i have to precise my gfs file i put : appli/prod is it correct?<BR>regards<BR><BR><BR><DIV><BR>ntoughe@hotmail.com</DIV><BR><BR><BR><BR>> From: linux-cluster-request@redhat.com<BR>> Subject: Linux-cluster Digest, Vol 64, Issue 18<BR>> To: linux-cluster@redhat.com<BR>> Date: Thu, 13 Aug 2009 11:24:21 -0400<BR>> <BR>> Send Linux-cluster mailing list submissions to<BR>>    linux-cluster@redhat.com<BR>> <BR>> To subscribe or unsubscribe via the World Wide Web, visit<BR>>   https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> or, via email, send a message with subject or body 'help' to<BR>>  linux-cluster-request@redhat.com<BR>> <BR>> You can reach the person managing the list at<BR>>       linux-cluster-owner@redhat.com<BR>> <BR>> When replying, please edit your Subject line so it is more specific<BR>> than "Re: Contents of Linux-cluster digest..."<BR>> <BR>> <BR>> Today's Topics:<BR>> <BR>>    1. Re: Qdisk question (brem belguebli)<BR>>    2. Re: Cman hang (Juan Ramon Martin Blanco)<BR>> <BR>> <BR>> ----------------------------------------------------------------------<BR>> <BR>> Message: 1<BR>> Date: Thu, 13 Aug 2009 17:23:16 +0200<BR>> From: brem belguebli <brem.belguebli@gmail.com><BR>> Subject: Re: [Linux-cluster] Qdisk question<BR>> To: linux clustering <linux-cluster@redhat.com><BR>> Message-ID:<BR>>         <29ae894c0908130823i65667021vdc840ae1f0ded134@mail.gmail.com><BR>> Content-Type: text/plain; charset="iso-8859-1"<BR>> <BR>> Hi Lon and Thanks for this reply.<BR>> <BR>> In fact, thinking about it, my test wasn't very much representative of what<BR>> I was expecting to do.<BR>> <BR>> I blocked the qdisk communications to only one node which, after reading<BR>> your reply, kind of confirmed me that I did the wong test. I'm going to re<BR>> run it by blocking all the nodes to the qdisk.<BR>> <BR>> I'll also try your ping tie-breaker.<BR>> <BR>> Brem<BR>> <BR>> <BR>> 2009/8/13, Lon Hohberger <lhh@redhat.com>:<BR>> ><BR>> > On Thu, 2009-08-13 at 00:45 +0200, brem belguebli wrote:<BR>> ><BR>> > > My understanding of qdisk is that it is used as a tie-breaker, but it<BR>> > > looks like it is more a heatbeat vector than a simple tie-breaker.<BR>> ><BR>> > Right, it's a secondary membership algorithm.<BR>> ><BR>> ><BR>> > > Until here, no real problem indeed, if the site gets apart from the<BR>> > > other prod site and also from the third site (hosting the iscsi target<BR>> > > qdisk) the 2 nodes from the failing site get evicted from the cluster.<BR>> > ><BR>> > ><BR>> > > But, what if my third site gets isolated while the 2 prod ones are<BR>> > > fine ?<BR>> ><BR>> > Qdisk votes will not be presented to CMAN any more, but the two sites<BR>> > should remain online if they still have a "majority" of votes.<BR>> ><BR>> ><BR>> > > The real  question is what happens in case all the nodes loose access<BR>> > > to the qdisk while they're still able to see each others ?<BR>> ><BR>> > Qdisk is just a vote like other voting mechanisms.  If all nodes lose<BR>> > access at the same time, it should behave like a node death.  However,<BR>> > the default action if _one_ node loses access is to kill that node (even<BR>> > if CMAN still sees it).<BR>> ><BR>> ><BR>> > > The 4 nodes have each 1 vote and the qdisk 1 vote. The expected quorum<BR>> > > is 3.<BR>> ><BR>> ><BR>> > > If I loose the qdisk, the number of votes falls to 4, the cluster is<BR>> > > quorate (4>3) but it looks like everything goes bad, each node<BR>> > > deactivate itself as it can't write its alive status (--> heartbeat<BR>> > > vector) to the qdisk even if the network heartbeating is working<BR>> > > fine.<BR>> ><BR>> > What happens specifically?  Most of the actions qdiskd performs are<BR>> > configurable.  For example, if the nodes are rebooting, you can turn<BR>> > that behavior off.<BR>> ><BR>> ><BR>> ><BR>> > I wrote a simple 'ping' tiebreaker based the behaviors in RHEL3.  It<BR>> > functions in many ways in the same manner as qdiskd with respect to vote<BR>> > advertisement to CMAN, but without needing a disk - maybe you would find<BR>> > it useful?<BR>> ><BR>> > http://people.redhat.com/lhh/qnet.tar.gz<BR>> ><BR>> > -- Lon<BR>> ><BR>> > --<BR>> > Linux-cluster mailing list<BR>> > Linux-cluster@redhat.com<BR>> > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> ><BR>> -------------- next part --------------<BR>> An HTML attachment was scrubbed...<BR>> URL: https://www.redhat.com/archives/linux-cluster/attachments/20090813/5482c8bf/attachment.html<BR>> <BR>> ------------------------------<BR>> <BR>> Message: 2<BR>> Date: Thu, 13 Aug 2009 17:23:54 +0200<BR>> From: Juan Ramon Martin Blanco <robejrm@gmail.com><BR>> Subject: Re: [Linux-cluster] Cman hang<BR>> To: linux clustering <linux-cluster@redhat.com><BR>> Message-ID:<BR>>         <8a5668960908130823u11b46ad9pd1da5af3614ce3d3@mail.gmail.com><BR>> Content-Type: text/plain; charset="iso-8859-1"<BR>> <BR>> On Thu, Aug 13, 2009 at 5:13 PM, NTOUGHE GUY-SERGE <ntoughe@hotmail.com>wrote:<BR>> <BR>> >  Hi, this is my cluster.conf<BR>> > <?xml version="1.0"?><BR>> > <cluster alias="arevclust" config_version="21" name="arevclust"><BR>> >   <fence_daemon clean_start="0" post_fail_delay="0" post_join_delay="3"/><BR>> >   <clusternodes><BR>> >   <clusternode name="host1" nodeid="1" votes="1"><BR>> >   <fence><BR>> >   <method name="2"><BR>> ><BR>> <BR>> >   <device name=""/><BR>> ><BR>> You should configure a valid fencing method, and if you don't have any, use<BR>> fence_manual until you get it.<BR>> <BR>> ><BR>> >   </method><BR>> >   </fence><BR>> >   <multicast addr="" interface=""/><BR>> ><BR>> I am not sure, but I think you should erase this <multicast ....> tag<BR>> <BR>> Greetings,<BR>> Juanra<BR>> <BR>> ><BR>> >   </clusternode><BR>> ><BR>> <BR>> >   <clusternode name="host2" nodeid="2" votes="1"><BR>> >   <fence><BR>> >   <method name="1"><BR>> >   <device name=""/><BR>> >   </method><BR>> >   <method name=""/><BR>> >   </fence><BR>> >   <multicast addr="" interface=""/><BR>> >   </clusternode><BR>> >   </clusternodes><BR>> >   <cman expected_votes="" two_node=""><BR>> >   <multicast addr=""/><BR>> >   </cman><BR>> >   <fencedevices><BR>> >   <fencedevice agent="fence_brocade" ipaddr="" login="" name="" passwd=""/><BR>> >   </fencedevices><BR>> >   <rm><BR>> >   <failoverdomains><BR>> >   </failoverdomains><BR>> >   <resources><BR>> >   </resources><BR>> >   </rm><BR>> > </cluster><BR>> ><BR>> > Regards<BR>> ><BR>> ><BR>> ><BR>> ><BR>> > ntoughe@hotmail.com<BR>> ><BR>> ><BR>> ><BR>> ><BR>> > > From: linux-cluster-request@redhat.com<BR>> > > Subject: Linux-cluster Digest, Vol 64, Issue 16<BR>> > > To: linux-cluster@redhat.com<BR>> > > Date: Thu, 13 Aug 2009 11:02:36 -0400<BR>> > ><BR>> > > Send Linux-cluster mailing list submissions to<BR>> > > linux-cluster@redhat.com<BR>> > ><BR>> > > To subscribe or unsubscribe via the World Wide Web, visit<BR>> > > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > or, via email, send a message with subject or body 'help' to<BR>> > > linux-cluster-request@redhat.com<BR>> > ><BR>> > > You can reach the person managing the list at<BR>> > > linux-cluster-owner@redhat.com<BR>> > ><BR>> > > When replying, please edit your Subject line so it is more specific<BR>> > > than "Re: Contents of Linux-cluster digest..."<BR>> > ><BR>> > ><BR>> > > Today's Topics:<BR>> > ><BR>> > > 1. Re: do I have a fence DRAC device? (ESGLinux)<BR>> > > 2. clusterservice stays in 'recovering' state (mark benschop)<BR>> > > 3. Re: Is there any backup heartbeat channel (Hakan VELIOGLU)<BR>> > > 4. Re: Is there any backup heartbeat channel<BR>> > > (Juan Ramon Martin Blanco)<BR>> > > 5. RHCS on KVM (Nehemias Jahcob)<BR>> > > 6. Cman hang (NTOUGHE GUY-SERGE)<BR>> > > 7. Re: gfs2 mount hangs (David Teigland)<BR>> > > 8. Re: Qdisk question (Lon Hohberger)<BR>> > > 9. Re: Cman hang (Juan Ramon Martin Blanco)<BR>> > ><BR>> > ><BR>> > > ----------------------------------------------------------------------<BR>> > ><BR>> > > Message: 1<BR>> > > Date: Thu, 13 Aug 2009 13:27:16 +0200<BR>> > > From: ESGLinux <esggrupos@gmail.com><BR>> > > Subject: Re: [Linux-cluster] do I have a fence DRAC device?<BR>> > > To: linux clustering <linux-cluster@redhat.com><BR>> > > Message-ID:<BR>> > > <3128ba140908130427i6ab85406ye6da34073e6a6e97@mail.gmail.com><BR>> > > Content-Type: text/plain; charset="iso-8859-1"<BR>> > ><BR>> > > Hi,<BR>> > > I couldn´t reboot my system yet but I have installed the openmanage<BR>> > > packages:<BR>> > ><BR>> > > srvadmin-omacore-5.4.0-260<BR>> > > srvadmin-iws-5.4.0-260<BR>> > > srvadmin-syscheck-5.4.0-260<BR>> > > srvadmin-rac5-components-5.4.0-260<BR>> > > srvadmin-deng-5.4.0-260<BR>> > > srvadmin-ipmi-5.4.0-260.DUP<BR>> > > srvadmin-racadm5-5.4.0-260<BR>> > > srvadmin-omauth-5.4.0-260.rhel5<BR>> > > srvadmin-hapi-5.4.0-260<BR>> > > srvadmin-cm-5.4.0-260<BR>> > > srvadmin-racdrsc5-5.4.0-260<BR>> > > srvadmin-omilcore-5.4.0-260<BR>> > > srvadmin-isvc-5.4.0-260<BR>> > > srvadmin-storage-5.4.0-260<BR>> > > srvadmin-jre-5.4.0-260<BR>> > > srvadmin-omhip-5.4.0-260<BR>> > ><BR>> > > Now I have the command racadm but when I try to execut it I get this:<BR>> > ><BR>> > > racadm config -g cfgSerial -o cfgSerialTelnetEnable 1<BR>> > > ERROR: RACADM is unable to process the requested subcommand because there<BR>> > is<BR>> > > no<BR>> > > local RAC configuration to communicate with.<BR>> > ><BR>> > > Local RACADM subcommand execution requires the following:<BR>> > ><BR>> > > 1. A Remote Access Controller (RAC) must be present on the managed server<BR>> > > 2. Appropriate managed node software must be installed and running on the<BR>> > > server<BR>> > ><BR>> > ><BR>> > > What do I need to install/start? or until I configure the bios I can´t<BR>> > get<BR>> > > this work?<BR>> > ><BR>> > > Greetings<BR>> > ><BR>> > > ESG<BR>> > ><BR>> > ><BR>> > > 2009/8/11 <bergman@merctech.com><BR>> > ><BR>> > > ><BR>> > > ><BR>> > > > In the message dated: Tue, 11 Aug 2009 14:14:03 +0200,<BR>> > > > The pithy ruminations from Juan Ramon Martin Blanco on<BR>> > > > <Re: [Linux-cluster] do I have a fence DRAC device?> were:<BR>> > > > => --===============1917368601==<BR>> > > > => Content-Type: multipart/alternative;<BR>> > > > boundary=0016364c7c07663f600470dca3b8<BR>> > > > =><BR>> > > > => --0016364c7c07663f600470dca3b8<BR>> > > > => Content-Type: text/plain; charset=ISO-8859-1<BR>> > > > => Content-Transfer-Encoding: quoted-printable<BR>> > > > =><BR>> > > > => On Tue, Aug 11, 2009 at 2:03 PM, ESGLinux <esggrupos@gmail.com><BR>> > wrote:<BR>> > > > =><BR>> > > > => > Thanks<BR>> > > > => > I=B4ll check it when I could reboot the server.<BR>> > > > => ><BR>> > > > => > greetings,<BR>> > > > => ><BR>> > > > => You have a BMC ipmi in the first network interface, it can be<BR>> > configured<BR>> > > > at<BR>> > > > => boot time (I don't remember if inside the BIOS or pressing<BR>> > > > cntrl+something<BR>> > > > => during boot)<BR>> > > > =><BR>> > > ><BR>> > > > Based on my notes, here's how I configured the DRAC interface on a Dell<BR>> > > > 1950<BR>> > > > for use as a fence device:<BR>> > > ><BR>> > > > Configuring the card from Linux depending on the installation of<BR>> > > > Dell's<BR>> > > > OMSA package. Once that's installed, use the following<BR>> > > > commands:<BR>> > > ><BR>> > > > racadm config -g cfgSerial -o cfgSerialTelnetEnable 1<BR>> > > > racadm config -g cfgLanNetworking -o cfgDNSRacName<BR>> > > > HOSTNAME_FOR_INTERFACE<BR>> > > > racadm config -g cfgDNSDomainName DOMAINNAME_FOR_INTERFACE<BR>> > > > racadm config -g cfgUserAdmin -o cfgUserAdminPassword -i 2<BR>> > > > PASSWORD<BR>> > > > racadm config -g cfgNicEnable 1<BR>> > > > racadm config -g cfgNicIpAddress WWW.XXX.YYY.ZZZ<BR>> > > > racadm config -g cfgNicNetmask WWW.XXX.YYY.ZZZ<BR>> > > > racadm config -g cfgNicGateway WWW.XXX.YYY.ZZZ<BR>> > > > racadm config -g cfgNicUseDhcp 0<BR>> > > ><BR>> > > ><BR>> > > > I also save a backup of the configuration with:<BR>> > > ><BR>> > > > racadm getconfig -f ~/drac_config<BR>> > > ><BR>> > > ><BR>> > > > Hope this helps,<BR>> > > ><BR>> > > > Mark<BR>> > > ><BR>> > > > ----<BR>> > > > Mark Bergman voice: 215-662-7310<BR>> > > > mark.bergman@uphs.upenn.edu fax: 215-614-0266<BR>> > > > System Administrator Section of Biomedical Image Analysis<BR>> > > > Department of Radiology University of Pennsylvania<BR>> > > > PGP Key: https://www.rad.upenn.edu/sbia/bergman<BR>> > > ><BR>> > > ><BR>> > > > => Greetings,<BR>> > > > => Juanra<BR>> > > > =><BR>> > > > => ><BR>> > > > => > ESG<BR>> > > > => ><BR>> > > > => > 2009/8/10 Paras pradhan <pradhanparas@gmail.com><BR>> > > > => ><BR>> > > > => > On Mon, Aug 10, 2009 at 5:24 AM, ESGLinux<esggrupos@gmail.com><BR>> > wrote:<BR>> > > > => >> > Hi all,<BR>> > > > => >> > I was designing a 2 node cluster and I was going to use 2<BR>> > servers<BR>> > > > DELL<BR>> > > > => >> > PowerEdge 1950. I was going to buy a DRAC card to use for<BR>> > fencing<BR>> > > > but<BR>> > > > => >> > running several commands in the servers I have noticed that<BR>> > when I<BR>> > > > run<BR>> > > > => >> this<BR>> > > > => >> > command:<BR>> > > > => >> > #ipmitool lan print<BR>> > > > => >> > Set in Progress : Set Complete<BR>> > > > => >> > Auth Type Support : NONE MD2 MD5 PASSWORD<BR>> > > > => >> > Auth Type Enable : Callback : MD2 MD5<BR>> > > > => >> > : User : MD2 MD5<BR>> > > > => >> > : Operator : MD2 MD5<BR>> > > > => >> > : Admin : MD2 MD5<BR>> > > > => >> > : OEM : MD2 MD5<BR>> > > > => >> > IP Address Source : Static Address<BR>> > > > => >> > IP Address : 0.0.0.0<BR>> > > > => >> > Subnet Mask : 0.0.0.0<BR>> > > > => >> > MAC Address : 00:1e:c9:ae:6f:7e<BR>> > > > => >> > SNMP Community String : public<BR>> > > > => >> > IP Header : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10<BR>> > > > => >> > Default Gateway IP : 0.0.0.0<BR>> > > > => >> > Default Gateway MAC : 00:00:00:00:00:00<BR>> > > > => >> > Backup Gateway IP : 0.0.0.0<BR>> > > > => >> > Backup Gateway MAC : 00:00:00:00:00:00<BR>> > > > => >> > 802.1q VLAN ID : Disabled<BR>> > > > => >> > 802.1q VLAN Priority : 0<BR>> > > > => >> > RMCP+ Cipher Suites : 0,1,2,3,4,5,6,7,8,9,10,11,12,13,14<BR>> > > > => >> > Cipher Suite Priv Max : aaaaaaaaaaaaaaa<BR>> > > > => >> > : X=Cipher Suite Unused<BR>> > > > => >> > : c=CALLBACK<BR>> > > > => >> > : u=USER<BR>> > > > => >> > : o=OPERATOR<BR>> > > > => >> > : a=ADMIN<BR>> > > > => >> > : O=OEM<BR>> > > > => >> > does this mean that I already have an ipmi card (not<BR>> > configured)<BR>> > > > that<BR>> > > > => I<BR>> > > > => >> can<BR>> > > > => >> > use for fencing? if the anwser is yes, where hell must I<BR>> > configure<BR>> > > > it?<BR>> > > > => I<BR>> > > > => >> > don=B4t see wher can I do it.<BR>> > > > => >> > If I haven=B4t a fencing device which one do you recommed to<BR>> > use?<BR>> > > > => >> > Thanks in advance<BR>> > > > => >> > ESG<BR>> > > > => >> ><BR>> > > > => >> > --<BR>> > > > => >> > Linux-cluster mailing list<BR>> > > > => >> > Linux-cluster@redhat.com<BR>> > > > => >> > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > > => >> ><BR>> > > > => >><BR>> > > > => >> Yes you have IPMI and if you are using 1950 Dell, DRAC should be<BR>> > > > there<BR>> > > > => >> too. You can see if you have DRAC or not when the server starts<BR>> > and<BR>> > > > => >> before the loading of the OS.<BR>> > > > => >><BR>> > > > => >> I have 1850s and I am using DRAC for fencing.<BR>> > > > => >><BR>> > > > => >><BR>> > > > => >> Paras.<BR>> > > > => >><BR>> > > > => >> --<BR>> > > > => >> Linux-cluster mailing list<BR>> > > > => >> Linux-cluster@redhat.com<BR>> > > > => >> https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > > => >><BR>> > > > => ><BR>> > > > => ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > > --<BR>> > > > Linux-cluster mailing list<BR>> > > > Linux-cluster@redhat.com<BR>> > > > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > ><BR>> > > -------------- next part --------------<BR>> > > An HTML attachment was scrubbed...<BR>> > > URL:<BR>> > https://www.redhat.com/archives/linux-cluster/attachments/20090813/a4558d27/attachment.html<BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 2<BR>> > > Date: Thu, 13 Aug 2009 14:45:13 +0200<BR>> > > From: mark benschop <mark.benschop.lists@gmail.com><BR>> > > Subject: [Linux-cluster] clusterservice stays in 'recovering' state<BR>> > > To: linux-cluster@redhat.com<BR>> > > Message-ID:<BR>> > > <f97c3a70908130545n11ce442ej17d74c9cdc450e45@mail.gmail.com><BR>> > > Content-Type: text/plain; charset="iso-8859-1"<BR>> > ><BR>> > > Hi All,<BR>> > ><BR>> > > I've a problem with a clusterservice. The service was started up while<BR>> > one<BR>> > > of the resources, an NFS, export was not accessible.<BR>> > > Therefore the service never started up right but got into the<BR>> > 'recovering'<BR>> > > state.<BR>> > > In the mean time the NFS exports are setup properly but to no avail.<BR>> > > Stopping the clusterservice, using clusvcadm -d <service>, will result in<BR>> > > the service going down but staying in the 'recovering' state.<BR>> > > Starting it again doesn't work. The service doesn't start and stays in<BR>> > the<BR>> > > recovery status.<BR>> > > I'm suspecting rgmanager lost it somehow.<BR>> > ><BR>> > > Anybody had any ideas on what could be the problem and how to resolve it<BR>> > ?<BR>> > ><BR>> > > Thanks in advance,<BR>> > > Mark<BR>> > > -------------- next part --------------<BR>> > > An HTML attachment was scrubbed...<BR>> > > URL:<BR>> > https://www.redhat.com/archives/linux-cluster/attachments/20090813/31731cd3/attachment.html<BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 3<BR>> > > Date: Thu, 13 Aug 2009 16:13:12 +0300<BR>> > > From: Hakan VELIOGLU <veliogluh@itu.edu.tr><BR>> > > Subject: Re: [Linux-cluster] Is there any backup heartbeat channel<BR>> > > To: linux-cluster@redhat.com<BR>> > > Message-ID: <20090813161312.11546h2sp6psr814@webmail.itu.edu.tr><BR>> > > Content-Type: text/plain; charset=ISO-8859-9; DelSp="Yes";<BR>> > > format="flowed"<BR>> > ><BR>> > > Thanks for all the answers.<BR>> > ><BR>> > > I think there is realy no backup heartbeat channel. Maybe the reason<BR>> > > is GFS. DLM works on the heartbeat channel. If you lost your heartbeat<BR>> > > you lose your lock consistency so it is better to fence the other<BR>> > > node. For this reason I think if you don't have enough network<BR>> > > interface on server and switch, loosing the heartbeat network may shut<BR>> > > all the cluster members.<BR>> > ><BR>> > > Hakan VELİOĞLU<BR>> > ><BR>> > ><BR>> > > ----- robejrm@gmail.com den ileti ---------<BR>> > > Tarih: Thu, 13 Aug 2009 10:42:11 +0200<BR>> > > Kimden: Juan Ramon Martin Blanco <robejrm@gmail.com><BR>> > > Yanıt Adresi:linux clustering <linux-cluster@redhat.com><BR>> > > Konu: Re: [Linux-cluster] Is there any backup heartbeat channel<BR>> > > Kime: linux clustering <linux-cluster@redhat.com><BR>> > ><BR>> > ><BR>> > > > 2009/8/13 Hakan VELIOGLU <veliogluh@itu.edu.tr><BR>> > > ><BR>> > > >> ----- raju.rajsand@gmail.com den ileti ---------<BR>> > > >> Tarih: Thu, 13 Aug 2009 08:57:15 +0530<BR>> > > >> Kimden: Rajagopal Swaminathan <raju.rajsand@gmail.com><BR>> > > >> Yanıt Adresi:linux clustering <linux-cluster@redhat.com><BR>> > > >> Konu: Re: [Linux-cluster] Is there any backup heartbeat channel<BR>> > > >> Kime: linux clustering <linux-cluster@redhat.com><BR>> > > >><BR>> > > >><BR>> > > >> Greetings,<BR>> > > >>><BR>> > > >>> 2009/8/12 Hakan VELIOGLU <veliogluh@itu.edu.tr>:<BR>> > > >>><BR>> > > >>>> Hi list,<BR>> > > >>>><BR>> > > >>>> I am trying a two node cluster with RH 5.3 on Sun X4150 hardware. I<BR>> > use a<BR>> > > >>>><BR>> > > >>><BR>> > > >>> IIRC, Sun x4150 has four ethernet ports. Two can be used for outside<BR>> > > >>> networking and two can be bonded and used for heartbeat.<BR>> > > >>><BR>> > > >> I think, I couldn't explain my networking. I use two ethernet ports<BR>> > for xen<BR>> > > >> vm which are trunk and bonded ports. Then there left two. Our network<BR>> > > >> topology (which is out of my control) available for one port for<BR>> > server<BR>> > > >> control (SSH).<BR>> > > ><BR>> > > > So you can't use a bonded port for both server management and cluster<BR>> > > > communications, can you? You can configure an active-passive bonding<BR>> > and<BR>> > > > then you can have many virtual interfaces on top of that, i.e: bond0:0,<BR>> > > > bond0:1 and assign them the ip addesses you need.<BR>> > > ><BR>> > > ><BR>> > > > I use the other one with a cross over cable for heartbeat. So there is<BR>> > no<BR>> > > >> way for bonding these two interfaces. Of course if I buy an extra<BR>> > switch I<BR>> > > >> may do this.<BR>> > > ><BR>> > > > You can connect them to the same switch (though you lost kind of<BR>> > > > redundancy), or you can use two crossover cables and move the<BR>> > management IP<BR>> > > > to the same ports you are using for the vm's.<BR>> > > ><BR>> > > > Greetings,<BR>> > > > Juanra<BR>> > > ><BR>> > > >><BR>> > > >> I don't realy understand why there is no backup heartbeat channel. LVS<BR>> > and<BR>> > > >> MS cluster has this ability.<BR>> > > >><BR>> > > >>><BR>> > > >>> ALOM can be used for fencing and can be on a seperate subnet if<BR>> > required.<BR>> > > >>><BR>> > > >> I used this for fencing_ipmilan.<BR>> > > >><BR>> > > >>><BR>> > > >>> Regards<BR>> > > >>><BR>> > > >>> Rajagopal<BR>> > > >>><BR>> > > >>> --<BR>> > > >>> Linux-cluster mailing list<BR>> > > >>> Linux-cluster@redhat.com<BR>> > > >>> https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > >>><BR>> > > >>><BR>> > > >><BR>> > > >> ----- raju.rajsand@gmail.com den iletiyi bitir -----<BR>> > > >><BR>> > > >><BR>> > > >><BR>> > > >><BR>> > > >> --<BR>> > > >> Linux-cluster mailing list<BR>> > > >> Linux-cluster@redhat.com<BR>> > > >> https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > >><BR>> > > ><BR>> > ><BR>> > ><BR>> > > ----- robejrm@gmail.com den iletiyi bitir -----<BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 4<BR>> > > Date: Thu, 13 Aug 2009 15:29:43 +0200<BR>> > > From: Juan Ramon Martin Blanco <robejrm@gmail.com><BR>> > > Subject: Re: [Linux-cluster] Is there any backup heartbeat channel<BR>> > > To: linux clustering <linux-cluster@redhat.com><BR>> > > Message-ID:<BR>> > > <8a5668960908130629n6ec05a88n463a3b03da331dae@mail.gmail.com><BR>> > > Content-Type: text/plain; charset="iso-8859-9"<BR>> > ><BR>> > > 2009/8/13 Hakan VELIOGLU <veliogluh@itu.edu.tr><BR>> > ><BR>> > > > Thanks for all the answers.<BR>> > > ><BR>> > > > I think there is realy no backup heartbeat channel. Maybe the reason is<BR>> > > > GFS. DLM works on the heartbeat channel. If you lost your heartbeat you<BR>> > lose<BR>> > > > your lock consistency so it is better to fence the other node. For this<BR>> > > > reason I think if you don't have enough network interface on server and<BR>> > > > switch, loosing the heartbeat network may shut all the cluster members.<BR>> > > ><BR>> > > There is no backup heartbeat channel because you should do the backup at<BR>> > a<BR>> > > operating system level, i.e: bonding<BR>> > > That's why you should use a bonded interface for the heartbeat channel<BR>> > with<BR>> > > at least 2 ethernet slaves; going further (for better redundancy) each of<BR>> > > the slaves should be on a different network card and you should connect<BR>> > the<BR>> > > each slave to a different switch.<BR>> > > But what I am trying to explain, is that you can use that bonded logical<BR>> > > interface also for things different from hearbeat. ;)<BR>> > ><BR>> > > Greetings,<BR>> > > Juanra<BR>> > ><BR>> > ><BR>> > > > Hakan VELİOĞLU<BR>> > > ><BR>> > > ><BR>> > > > ----- robejrm@gmail.com den ileti ---------<BR>> > > > Tarih: Thu, 13 Aug 2009 10:42:11 +0200<BR>> > > > Kimden: Juan Ramon Martin Blanco <robejrm@gmail.com><BR>> > > ><BR>> > > > Yanıt Adresi:linux clustering <linux-cluster@redhat.com><BR>> > > > Konu: Re: [Linux-cluster] Is there any backup heartbeat channel<BR>> > > > Kime: linux clustering <linux-cluster@redhat.com><BR>> > > ><BR>> > > ><BR>> > > > 2009/8/13 Hakan VELIOGLU <veliogluh@itu.edu.tr><BR>> > > >><BR>> > > >> ----- raju.rajsand@gmail.com den ileti ---------<BR>> > > >>> Tarih: Thu, 13 Aug 2009 08:57:15 +0530<BR>> > > >>> Kimden: Rajagopal Swaminathan <raju.rajsand@gmail.com><BR>> > > >>> Yanıt Adresi:linux clustering <linux-cluster@redhat.com><BR>> > > >>> Konu: Re: [Linux-cluster] Is there any backup heartbeat channel<BR>> > > >>> Kime: linux clustering <linux-cluster@redhat.com><BR>> > > >>><BR>> > > >>><BR>> > > >>> Greetings,<BR>> > > >>><BR>> > > >>>><BR>> > > >>>> 2009/8/12 Hakan VELIOGLU <veliogluh@itu.edu.tr>:<BR>> > > >>>><BR>> > > >>>> Hi list,<BR>> > > >>>>><BR>> > > >>>>> I am trying a two node cluster with RH 5.3 on Sun X4150 hardware. I<BR>> > use<BR>> > > >>>>> a<BR>> > > >>>>><BR>> > > >>>>><BR>> > > >>>> IIRC, Sun x4150 has four ethernet ports. Two can be used for outside<BR>> > > >>>> networking and two can be bonded and used for heartbeat.<BR>> > > >>>><BR>> > > >>>> I think, I couldn't explain my networking. I use two ethernet ports<BR>> > for<BR>> > > >>> xen<BR>> > > >>> vm which are trunk and bonded ports. Then there left two. Our network<BR>> > > >>> topology (which is out of my control) available for one port for<BR>> > server<BR>> > > >>> control (SSH).<BR>> > > >>><BR>> > > >><BR>> > > >> So you can't use a bonded port for both server management and cluster<BR>> > > >> communications, can you? You can configure an active-passive bonding<BR>> > and<BR>> > > >> then you can have many virtual interfaces on top of that, i.e:<BR>> > bond0:0,<BR>> > > >> bond0:1 and assign them the ip addesses you need.<BR>> > > >><BR>> > > >><BR>> > > >> I use the other one with a cross over cable for heartbeat. So there is<BR>> > no<BR>> > > >><BR>> > > >>> way for bonding these two interfaces. Of course if I buy an extra<BR>> > switch<BR>> > > >>> I<BR>> > > >>> may do this.<BR>> > > >>><BR>> > > >><BR>> > > >> You can connect them to the same switch (though you lost kind of<BR>> > > >> redundancy), or you can use two crossover cables and move the<BR>> > management<BR>> > > >> IP<BR>> > > >> to the same ports you are using for the vm's.<BR>> > > >><BR>> > > >> Greetings,<BR>> > > >> Juanra<BR>> > > >><BR>> > > >><BR>> > > >>> I don't realy understand why there is no backup heartbeat channel.<BR>> > LVS<BR>> > > >>> and<BR>> > > >>> MS cluster has this ability.<BR>> > > >>><BR>> > > >>><BR>> > > >>>> ALOM can be used for fencing and can be on a seperate subnet if<BR>> > > >>>> required.<BR>> > > >>>><BR>> > > >>>> I used this for fencing_ipmilan.<BR>> > > >>><BR>> > > >>><BR>> > > >>>> Regards<BR>> > > >>>><BR>> > > >>>> Rajagopal<BR>> > > >>>><BR>> > > >>>> --<BR>> > > >>>> Linux-cluster mailing list<BR>> > > >>>> Linux-cluster@redhat.com<BR>> > > >>>> https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > >>>><BR>> > > >>>><BR>> > > >>>><BR>> > > >>> ----- raju.rajsand@gmail.com den iletiyi bitir -----<BR>> > > >>><BR>> > > >>><BR>> > > >>><BR>> > > >>><BR>> > > >>> --<BR>> > > >>> Linux-cluster mailing list<BR>> > > >>> Linux-cluster@redhat.com<BR>> > > >>> https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > >>><BR>> > > >>><BR>> > > >><BR>> > > ><BR>> > > > ----- robejrm@gmail.com den iletiyi bitir -----<BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > > --<BR>> > > > Linux-cluster mailing list<BR>> > > > Linux-cluster@redhat.com<BR>> > > > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > ><BR>> > > -------------- next part --------------<BR>> > > An HTML attachment was scrubbed...<BR>> > > URL:<BR>> > https://www.redhat.com/archives/linux-cluster/attachments/20090813/cd4dc079/attachment.html<BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 5<BR>> > > Date: Thu, 13 Aug 2009 10:07:13 -0400<BR>> > > From: Nehemias Jahcob <nehemiasjahcob@gmail.com><BR>> > > Subject: [Linux-cluster] RHCS on KVM<BR>> > > To: linux clustering <linux-cluster@redhat.com><BR>> > > Message-ID:<BR>> > > <5f61ab380908130707q5c936504k7351d0d6b3459090@mail.gmail.com><BR>> > > Content-Type: text/plain; charset="iso-8859-1"<BR>> > ><BR>> > > Hi.<BR>> > ><BR>> > > How to create a cluster of 2 nodes in rhel5.4 (or Fedora 10) with KVM?<BR>> > ><BR>> > > With XEN follow this guide:<BR>> > > http://sources.redhat.com/cluster/wiki/VMClusterCookbook?highlight =<BR>> > > (CategoryHowTo).<BR>> > ><BR>> > > Do you have a guide to implementation of RHCS in KVM?<BR>> > ><BR>> > > Thank you all.<BR>> > > NJ<BR>> > > -------------- next part --------------<BR>> > > An HTML attachment was scrubbed...<BR>> > > URL:<BR>> > https://www.redhat.com/archives/linux-cluster/attachments/20090813/f3a69a80/attachment.html<BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 6<BR>> > > Date: Thu, 13 Aug 2009 14:16:47 +0000<BR>> > > From: NTOUGHE GUY-SERGE <ntoughe@hotmail.com><BR>> > > Subject: [Linux-cluster] Cman hang<BR>> > > To: <linux-cluster@redhat.com><BR>> > > Message-ID: <BAY119-W410E2F250E8B461752CFC9A5050@phx.gbl><BR>> > > Content-Type: text/plain; charset="iso-8859-1"<BR>> > ><BR>> > ><BR>> > ><BR>> > > Hi gurus,<BR>> > ><BR>> > > i installed RHEL 5.3 on 2 servers which participating to a cluster<BR>> > composed of these 2 nodes:<BR>> > > kernel version:<BR>> > > kernel-headers-2.6.18-128.el5<BR>> > > kernel-devel-2.6.18-128.el5<BR>> > > kernel-2.6.18-128.el5<BR>> > > cman-devel-2.0.98-1.el5_3.1<BR>> > > cman-2.0.98-1.el5_3.1<BR>> > > cluster-cim-0.12.1-2.el5<BR>> > > lvm2-cluster-2.02.40-7.el5<BR>> > > cluster-snmp-0.12.1-2.el5<BR>> > > modcluster-0.12.1-2.el5<BR>> > > When i want to start cman the following message is sent:<BR>> > > cman not started: Multicast and node address families differ.<BR>> > /usr/sbin/cman_tool: aisexec daemon didn't start<BR>> > > [FAILED]<BR>> > ><BR>> > > I trier to mount gfs2<BR>> > > and i got theses messages:<BR>> > > # mount -t gfs2 /dev/VolGroup01/LogVol01 /appli/prod --o<BR>> > lockTablename=arvclust:/appli/prod, Lockproto=lock_dlm<BR>> > ><BR>> > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > ><BR>> > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > ><BR>> > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > ><BR>> > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > ><BR>> > > do you have any clues?<BR>> > > Please it's an hurry, i waste long time to lok for solution help<BR>> > > regards<BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > ><BR>> > > ntoughe@hotmail.com<BR>> > ><BR>> > ><BR>> > > _________________________________________________________________<BR>> > > With Windows Live, you can organize, edit, and share your photos.<BR>> > ><BR>> > http://www.microsoft.com/middleeast/windows/windowslive/products/photo-gallery-edit.aspx<BR>> > > -------------- next part --------------<BR>> > > An HTML attachment was scrubbed...<BR>> > > URL:<BR>> > https://www.redhat.com/archives/linux-cluster/attachments/20090813/0a55101d/attachment.html<BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 7<BR>> > > Date: Thu, 13 Aug 2009 09:14:24 -0500<BR>> > > From: David Teigland <teigland@redhat.com><BR>> > > Subject: Re: [Linux-cluster] gfs2 mount hangs<BR>> > > To: Wengang Wang <wen.gang.wang@oracle.com><BR>> > > Cc: linux clustering <linux-cluster@redhat.com><BR>> > > Message-ID: <20090813141424.GA8148@redhat.com><BR>> > > Content-Type: text/plain; charset=us-ascii<BR>> > ><BR>> > > On Thu, Aug 13, 2009 at 02:22:11PM +0800, Wengang Wang wrote:<BR>> > > > <cman two_node="1" expected_votes="2"/><BR>> > ><BR>> > > That's not a valid combination, two_node="1" requires expected_votes="1".<BR>> > ><BR>> > > You didn't mention which userspace cluster version/release you're using,<BR>> > or<BR>> > > include any status about the cluster. Before trying to mount gfs on<BR>> > either<BR>> > > node, collect from both nodes:<BR>> > ><BR>> > > cman_tool status<BR>> > > cman_tool nodes<BR>> > > group_tool<BR>> > ><BR>> > > Then mount on the first node and collect the same information, then try<BR>> > > mounting on the second node, collect the same information, and look for<BR>> > any<BR>> > > errors in /var/log/messages.<BR>> > ><BR>> > > Since you're using new kernels, you need to be using the cluster 3.0<BR>> > userspace<BR>> > > code. You're using the old manual fencing config. There is no more<BR>> > > fence_manual; the new way to configure manual fencing is to not configure<BR>> > any<BR>> > > fencing at all. So, your cluster.conf should look like this:<BR>> > ><BR>> > > <?xml version="1.0"?><BR>> > > <cluster name="testgfs2" config_version="1"><BR>> > > <cman two_node="1" expected_votes="1"/><BR>> > > <clusternodes><BR>> > > <clusternode name="cool" nodeid="1"/><BR>> > > <clusternode name="desk" nodeid="2"/><BR>> > > </clusternodes><BR>> > > </cluster><BR>> > ><BR>> > > Dave<BR>> > ><BR>> > ><BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 8<BR>> > > Date: Thu, 13 Aug 2009 10:39:46 -0400<BR>> > > From: Lon Hohberger <lhh@redhat.com><BR>> > > Subject: Re: [Linux-cluster] Qdisk question<BR>> > > To: linux clustering <linux-cluster@redhat.com><BR>> > > Message-ID: <1250174386.23376.1440.camel@localhost.localdomain><BR>> > > Content-Type: text/plain<BR>> > ><BR>> > > On Thu, 2009-08-13 at 00:45 +0200, brem belguebli wrote:<BR>> > ><BR>> > > > My understanding of qdisk is that it is used as a tie-breaker, but it<BR>> > > > looks like it is more a heatbeat vector than a simple tie-breaker.<BR>> > ><BR>> > > Right, it's a secondary membership algorithm.<BR>> > ><BR>> > ><BR>> > > > Until here, no real problem indeed, if the site gets apart from the<BR>> > > > other prod site and also from the third site (hosting the iscsi target<BR>> > > > qdisk) the 2 nodes from the failing site get evicted from the cluster.<BR>> > > ><BR>> > > ><BR>> > > > But, what if my third site gets isolated while the 2 prod ones are<BR>> > > > fine ?<BR>> > ><BR>> > > Qdisk votes will not be presented to CMAN any more, but the two sites<BR>> > > should remain online if they still have a "majority" of votes.<BR>> > ><BR>> > ><BR>> > > > The real question is what happens in case all the nodes loose access<BR>> > > > to the qdisk while they're still able to see each others ?<BR>> > ><BR>> > > Qdisk is just a vote like other voting mechanisms. If all nodes lose<BR>> > > access at the same time, it should behave like a node death. However,<BR>> > > the default action if _one_ node loses access is to kill that node (even<BR>> > > if CMAN still sees it).<BR>> > ><BR>> > ><BR>> > > > The 4 nodes have each 1 vote and the qdisk 1 vote. The expected quorum<BR>> > > > is 3.<BR>> > ><BR>> > ><BR>> > > > If I loose the qdisk, the number of votes falls to 4, the cluster is<BR>> > > > quorate (4>3) but it looks like everything goes bad, each node<BR>> > > > deactivate itself as it can't write its alive status (--> heartbeat<BR>> > > > vector) to the qdisk even if the network heartbeating is working<BR>> > > > fine.<BR>> > ><BR>> > > What happens specifically? Most of the actions qdiskd performs are<BR>> > > configurable. For example, if the nodes are rebooting, you can turn<BR>> > > that behavior off.<BR>> > ><BR>> > ><BR>> > ><BR>> > > I wrote a simple 'ping' tiebreaker based the behaviors in RHEL3. It<BR>> > > functions in many ways in the same manner as qdiskd with respect to vote<BR>> > > advertisement to CMAN, but without needing a disk - maybe you would find<BR>> > > it useful?<BR>> > ><BR>> > > http://people.redhat.com/lhh/qnet.tar.gz<BR>> > ><BR>> > > -- Lon<BR>> > ><BR>> > ><BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > Message: 9<BR>> > > Date: Thu, 13 Aug 2009 17:02:15 +0200<BR>> > > From: Juan Ramon Martin Blanco <robejrm@gmail.com><BR>> > > Subject: Re: [Linux-cluster] Cman hang<BR>> > > To: linux clustering <linux-cluster@redhat.com><BR>> > > Message-ID:<BR>> > > <8a5668960908130802p4f5168cbueda86d1e6f1324bb@mail.gmail.com><BR>> > > Content-Type: text/plain; charset="iso-8859-1"<BR>> > ><BR>> > > On Thu, Aug 13, 2009 at 4:16 PM, NTOUGHE GUY-SERGE <ntoughe@hotmail.com<BR>> > >wrote:<BR>> > ><BR>> > > ><BR>> > > > Hi gurus,<BR>> > > ><BR>> > > > i installed RHEL 5.3 on 2 servers which participating to a cluster<BR>> > > > composed of these 2 nodes:<BR>> > > > kernel version:<BR>> > > > kernel-headers-2.6.18-128.el5<BR>> > > > kernel-devel-2.6.18-128.el5<BR>> > > > kernel-2.6.18-128.el5<BR>> > > > cman-devel-2.0.98-1.el5_3.1<BR>> > > > cman-2.0.98-1.el5_3.1<BR>> > > > cluster-cim-0.12.1-2.el5<BR>> > > > lvm2-cluster-2.02.40-7.el5<BR>> > > > cluster-snmp-0.12.1-2.el5<BR>> > > > modcluster-0.12.1-2.el5<BR>> > > > When i want to start cman the following message is sent:<BR>> > > > cman not started: Multicast and node address families differ.<BR>> > > > /usr/sbin/cman_tool: aisexec daemon didn't start<BR>> > > > [FAILED]<BR>> > > ><BR>> > > Please, show us your cluster.conf file so we can help.<BR>> > ><BR>> > > Regards,<BR>> > > Juanra<BR>> > ><BR>> > > ><BR>> > > > I trier to mount gfs2<BR>> > > > and i got theses messages:<BR>> > > > # mount -t gfs2 /dev/VolGroup01/LogVol01 /appli/prod --o<BR>> > > > lockTablename=arvclust:/appli/prod, Lockproto=lock_dlm<BR>> > > ><BR>> > > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > > ><BR>> > > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > > ><BR>> > > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > > ><BR>> > > > /sbin/mount.gfs2: can't connect to gfs_controld: Connection refused<BR>> > > ><BR>> > > > do you have any clues?<BR>> > > > Please it's an hurry, i waste long time to lok for solution help<BR>> > > > regards<BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > > ntoughe@hotmail.com<BR>> > > ><BR>> > > ><BR>> > > ><BR>> > > > ------------------------------<BR>> > > > With Windows Live, you can organize, edit, and share your photos.<<BR>> > http://www.microsoft.com/middleeast/windows/windowslive/products/photo-gallery-edit.aspx<BR>> > ><BR>> > > ><BR>> > > > --<BR>> > > > Linux-cluster mailing list<BR>> > > > Linux-cluster@redhat.com<BR>> > > > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > > ><BR>> > > -------------- next part --------------<BR>> > > An HTML attachment was scrubbed...<BR>> > > URL:<BR>> > https://www.redhat.com/archives/linux-cluster/attachments/20090813/9ecbcab1/attachment.html<BR>> > ><BR>> > > ------------------------------<BR>> > ><BR>> > > --<BR>> > > Linux-cluster mailing list<BR>> > > Linux-cluster@redhat.com<BR>> > > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> > ><BR>> > > End of Linux-cluster Digest, Vol 64, Issue 16<BR>> > > *********************************************<BR>> ><BR>> > ------------------------------<BR>> > See all the ways you can stay connected to friends and family<http://www.microsoft.com/windows/windowslive/default.aspx><BR>> ><BR>> > --<BR>> > Linux-cluster mailing list<BR>> > Linux-cluster@redhat.com<BR>> > https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> ><BR>> -------------- next part --------------<BR>> An HTML attachment was scrubbed...<BR>> URL: https://www.redhat.com/archives/linux-cluster/attachments/20090813/f9557411/attachment.html<BR>> <BR>> ------------------------------<BR>> <BR>> --<BR>> Linux-cluster mailing list<BR>> Linux-cluster@redhat.com<BR>> https://www.redhat.com/mailman/listinfo/linux-cluster<BR>> <BR>> End of Linux-cluster Digest, Vol 64, Issue 18<BR>> *********************************************<BR><br /><hr />Share your memories online with anyone you want <a href='http://www.microsoft.com/middleeast/windows/windowslive/products/photos-share.aspx?tab=1' target='_new'>anyone you want.</a></body>
</html>