<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii">
<TITLE>RE: [Linux-cluster] GFS performance</TITLE>

<META content="MSHTML 6.00.2900.2995" name=GENERATOR></HEAD>
<BODY>
<DIV dir=ltr align=left><SPAN class=823003817-18122006><FONT face=Arial 
color=#0000ff size=2>Well it appears you nailed it Bob. Swapping out the node1 
inteconnect/heartbeat cable seemed to do the trick. I didnt look at that before 
since I made/tested cables and had no issues with the OS. Thanx 
much!!!</FONT></SPAN></DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> linux-cluster-bounces@redhat.com 
[mailto:linux-cluster-bounces@redhat.com] <B>On Behalf Of </B>Frazier, Darrell 
USA CRC (Contractor)<BR><B>Sent:</B> Monday, December 18, 2006 8:37 
AM<BR><B>To:</B> 'linux clustering'<BR><B>Subject:</B> RE: [Linux-cluster] GFS 
performance<BR></FONT><BR></DIV>
<DIV></DIV>
<P><FONT size=2>Thanx a lot Bob for the info. I am in the process of swapping 
things out to see if that changes things. I am wondering however why performance 
is even on the OS side (dd, cp, etc, to the GFS filesystem), but not with 
Clusterware. Interesting. </FONT></P>
<P><FONT size=2>-----Original Message-----</FONT> <BR><FONT size=2>From: 
linux-cluster-bounces@redhat.com [<A 
href="mailto:linux-cluster-bounces@redhat.com">mailto:linux-cluster-bounces@redhat.com</A>] 
On Behalf Of Robert Peterson</FONT> <BR><FONT size=2>Sent: Friday, December 15, 
2006 3:33 PM</FONT> <BR><FONT size=2>To: linux clustering</FONT> <BR><FONT 
size=2>Subject: Re: [Linux-cluster] GFS performance</FONT> </P>
<P><FONT size=2>Frazier, Darrell USA CRC (Contractor) wrote:</FONT> <BR><FONT 
size=2>></FONT> <BR><FONT size=2>> Hello guru's,</FONT> <BR><FONT 
size=2>></FONT> <BR><FONT size=2>> Interesting problem I am hoping someone 
on this forum has seen before, </FONT><BR><FONT size=2>> and can give me 
pointers to what may be wrong. Here is the setup:</FONT> <BR><FONT 
size=2>></FONT> <BR><FONT size=2>> 2 HP DL380 G4 systems with 
RHEL4U4</FONT> <BR><FONT size=2>> 1 unmanaged switch (for Cluster 
interconnect and Oracle RAC</FONT> <BR><FONT size=2>> interconnect.)</FONT> 
<BR><FONT size=2>> Public network for Oracle NET and normal network 
traffic</FONT> <BR><FONT size=2>> RHCS4 using DLM locking protocol (three 
servers to keep GULM lock info </FONT><BR><FONT size=2>> for a two node RAC 
seemed pretty wasteful)</FONT> <BR><FONT size=2>> GFS6.1</FONT> <BR><FONT 
size=2>> Oracle Clusterware (latest)</FONT> <BR><FONT size=2>> Oracle 
Database 10gR2</FONT> <BR><FONT size=2>> Fiber-Channel shared storage</FONT> 
<BR><FONT size=2>></FONT> <BR><FONT size=2>> Here is my issue:</FONT> 
<BR><FONT size=2>></FONT> <BR><FONT size=2>> I have set up a two-node 
Oracle 10gR2 RAC system with RHCS/GFS (OCFS2 </FONT><BR><FONT size=2>> was 
such a disappointment), and Oracle Clusterware. Everything on the 
</FONT><BR><FONT size=2>> OS cluster level is good and fine.</FONT> <BR><FONT 
size=2>></FONT> <BR><FONT size=2>> Shortly after setting up the cluster 
and handing it over to the DBAs </FONT><BR><FONT size=2>> to install 
Clusterware and Oracle RAC. They come to me saying that </FONT><BR><FONT 
size=2>> they have uneven performance between the nodes. (Node one does 
</FONT><BR><FONT size=2>> adatabase import in an hour whereas the same import 
on Node2 takes 10</FONT> <BR><FONT size=2>> hours)</FONT> <BR><FONT 
size=2>></FONT> <BR><FONT size=2>> I have been doing everything I can do 
on my side using various tools </FONT><BR><FONT size=2>> to try to isolate 
the issue (protocol analysis, iostat, strace, dd to </FONT><BR><FONT size=2>> 
do writes from both nodes to GFS, etc.) and I have been unable to 
</FONT><BR><FONT size=2>> isolate the issue as performance is quite even on 
an OS level.</FONT> <BR><FONT size=2>></FONT> <BR><FONT size=2>> The 
cluster configuration has been ruled out by Redhat support as an 
</FONT><BR><FONT size=2>> issue. (Yay for me and Redhat!)</FONT> <BR><FONT 
size=2>></FONT> <BR><FONT size=2>> I am hoping someone here has run into 
issues using Oracle Clusterware </FONT><BR><FONT size=2>> on RHCS/GFS.</FONT> 
<BR><FONT size=2>></FONT> <BR><FONT size=2>> Thanx in advance</FONT> 
<BR><FONT size=2>></FONT> <BR><FONT size=2>> *Darrell J. Frazier*</FONT> 
<BR><FONT size=2>></FONT> <BR><FONT size=2>Hi Darrell,</FONT> </P>
<P><FONT size=2>Well, it's possible you're running into this:</FONT> </P>
<P><FONT size=2><A href="http://sources.redhat.com/cluster/faq.html#gfs_speed1" 
target=_blank>http://sources.redhat.com/cluster/faq.html#gfs_speed1</A></FONT> 
</P>
<P><FONT size=2>To rule that out, perhaps you could do the same sequence of 
events after a complete cluster reboot, for each node.  It would be 
interesting to know if the speed factor changes.</FONT></P>
<P><FONT size=2>It could be a number of other things, too, including 
hardware.  You could try swapping cables and ports on the Ethernet and also 
the shared storage.  By the way, I'm in the process of adding a new "GFS 
performance tuning" question to the cluster FAQ that may or may not help.  
It should appear in the FAQ soon, pending review by some of the developers here 
(I don't want to post any misinformation, so I'm having them review 
it).</FONT></P>
<P><FONT size=2>Regards,</FONT> </P>
<P><FONT size=2>Bob Peterson</FONT> <BR><FONT size=2>Red Hat Cluster 
Suite</FONT> </P>
<P><FONT size=2>--</FONT> <BR><FONT size=2>Linux-cluster mailing list</FONT> 
<BR><FONT size=2>Linux-cluster@redhat.com</FONT> <BR><FONT size=2><A 
href="https://www.redhat.com/mailman/listinfo/linux-cluster" 
target=_blank>https://www.redhat.com/mailman/listinfo/linux-cluster</A></FONT> 
</P></BODY></HTML>