<br><br><div class="gmail_quote">On Sun, Oct 18, 2009 at 6:08 AM, Viji V Nair <span dir="ltr"><<a href="mailto:viji@fedoraproject.org">viji@fedoraproject.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="im">
From: Matija Nalis <<a href="mailto:mnalis-ml@voyager.hr">mnalis-ml@voyager.hr</a>><br>
<br>
</div><div class="im">On Sun, Oct 18, 2009 at 03:01:46PM +0530, Viji V Nair wrote:<br>
> The application which we are using are modified versions of mapnik and<br>
> tilecache, these are single threaded so we are running 4 process at a<br>
<br>
How does it scale if you reduce the number or processes - especially if you<br>
run just one of those ? As this is just a single disk, 4 simultaneous<br>
readers/writers would probably *totally* kill it with seeks.<br>
<br>
I suspect it might even run faster with just 1 process then with 4 of<br>
them...<br>
<br>
</div>with one process it is giving me 6 seconds<br></blockquote><div><br>If it takes 6 seconds with one process and 20 seconds with 4 processes, then this <br>pretty clearly points to problems with thrashing the heads. <br>
(this presumes that the timing you're mentioning is time between  request and <br>service with the same request patterns).<br><br>Others have suggested flash drives... This sounds like an idea.  On the cheaper end, I'd suggest  lots of mirroring.. The more drives the merrier. a 4-way mirrir will probably give you a good deal of speedup.   If you can find an old RAID box, try throwing in a dozen or so smaller drives (even 72 or 36GB SCSI drives).. <br>
<br>It sounds like the problem is clearly head seek, not transfer speeds, so lots of old SCSI drives with a single (slower) connection will probably do you more good than 4 demon-fast SATA drives.  <br>If you have smaller drives, go to raid10. If you have larger drives, then go to raid 1 and mirror them up the wazoo.  (I'm presuming that this is a read-mostly application.  If you're doing lots of parallel writes, then raid 10 might still be a good idea, even with big drives).<br>
<br>If you already have a deep mirror and you later get  Flash drives, then I'd say add the flash drives into the mix, rather than just replacing the RAID with flash, again -- unless this isn't a read-mostly situation -- the more drives the merrier.<br>
</div></div> <br>Stephen Samuel <a href="http://www.bcgreen.com">http://www.bcgreen.com</a>  Software, like love, <br>778-861-7641                              grows when you give it away<br>