<div dir="ltr">By children, I'm referring to child nodes - the subservers that can sync from a "parent" node.<div><br></div><div>Looking again at the resources, below is what I have. It does look like the 1.7g proc is actually a worker.</div><div><br></div><div>Some statistics on what I have here (resident memory):</div><div>2 celery__main__worker procs listed as "resource_manager"  - 41m memory each</div><div>2 celery__main__worker procs listed as "reserved_resource_worker" - 42m and 1.7g respectively</div><div>1 mongo process - 972m</div><div>1 celerybeat - 24m</div><div>a pile of httpd procs - 14m each</div><div>1 qpid -  21m</div><div><br></div><div>For disk utilization, the mongo db is around 3.8G and my directory containing all of the rpms etc is around 95G.</div><div><br></div><div>We're on a system with only 3.5G available memory, which is probably part of the problem. We're looking at expanding it, I'm just trying to figure out how much to expand it by. From your numbers above, we'd need 6-7G of memory + 2*N gigs for the workers. Should I expect maybe 3-4 workers at any one time? I've got 2 now, but that is at an idle state.</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jun 22, 2015 at 9:24 AM, Brian Bouterse <span dir="ltr"><<a href="mailto:bbouters@redhat.com" target="_blank">bbouters@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA256<br>
<br>
Hi Sean,<br>
<br>
I'm not really sure what you mean by the term 'children'. Maybe you<br>
mean process or consumer?<br>
<br>
I expect pulp_resource_manager to use less than 1.7G of memory, but<br>
its possible. Memory analysis can be a little bit tricky so more<br>
details are needed about how this is being measured to be sure.<br>
<br>
The biggest memory process within Pulp by far is mongodb. If you can,<br>
ensure that at least 4G of RAM is available on that machine that you<br>
are running mongodb on.<br>
<br>
I looked into the docs and we don't talk much about the memory<br>
requirements. Feel free to file a bug on that if you want. Roughly I<br>
expect the following amounts of RAM to be available per process:<br>
<br>
pulp_celerybeat, 256MB - 512MB<br>
pulp_resource_manager, 256MB - 512MB<br>
pulp_workers. This process spawns N workers. Each worker could use<br>
256MB - 2GB depending on what its doing.<br>
httpd, 1GB<br>
mongodb, 4GB<br>
qpidd/rabbitMQ, ???<br>
<br>
Note all the pulp_*, processes have a parent and child process, for<br>
the numbers above I consider each parent/child together. I usually<br>
show the inheritance using `sudo ps -awfux`.<br>
<br>
I'm interested to see what others think about these numbers too.<br>
<br>
- -Brian<br>
<span class=""><br>
<br>
On 06/22/2015 08:46 AM, Sean Waite wrote:<br>
> Hi,<br>
><br>
> I've got a pulp server running, and I'd like to add some children.<br>
> The server itself is a bit hard up on resources, so we're going to<br>
> rebuild with a larger one. How much resources would the children<br>
> use? Is it a fairly beefy process/memory hog?<br>
><br>
> We've got a large number of repositories. pulp-resource-manager<br>
> seems to be using 1.7G of memory, with a .7G of mongodb.<br>
><br>
> Any pointers on how much I might be able to expect?<br>
><br>
> Thanks<br>
><br>
> -- Sean Waite<br>
</span>> <a href="mailto:swaite@tracelink.com">swaite@tracelink.com</a> <mailto:<a href="mailto:swaite@tracelink.com">swaite@tracelink.com</a>> Cloud Operations<br>
<span class="">> Engineer                GPG 3071E870 TraceLink, Inc.<br>
><br>
> Be Excellent to Each Other<br>
><br>
><br>
</span><span class="">> _______________________________________________ Pulp-list mailing<br>
> list <a href="mailto:Pulp-list@redhat.com">Pulp-list@redhat.com</a><br>
> <a href="https://www.redhat.com/mailman/listinfo/pulp-list" rel="noreferrer" target="_blank">https://www.redhat.com/mailman/listinfo/pulp-list</a><br>
><br>
</span>-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2<br>
<br>
iQEcBAEBCAAGBQJViAx4AAoJEK48cdELyEfyjeUH/j06u2ERqrvTogSW+T3ZNYgI<br>
4xnkypN6/oIv87BhaVysif1adYI4R/egiIHlqHGxO0HBWm/AKQygMWJBvMMK3Dlg<br>
PtGdDdD7BBnGEwuTeFm0qJMlofk3PKmRaPRrFhwFe6DD/UaYgM7FSVsVbyn4zZpf<br>
HSMSk+j77FoEH8ExUX4i43UJOjkp1vfFgyynKMwxIHi6vLY0VDnmIS3iISlfroIA<br>
T+ZmS5t2u2NBU3dgTSHNlQsWP4BT2JH8VRWatoVoMc/vwlIJv+fzYn+tMAjNwKu+<br>
Lepcowq7sXLQzmlqGgYpVMofcBy4Mv3V0z2tjZOzqySF7omIG5YK7uFDLISxu1g=<br>
=AhJm<br>
-----END PGP SIGNATURE-----<br>
<div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Pulp-list mailing list<br>
<a href="mailto:Pulp-list@redhat.com">Pulp-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-list" rel="noreferrer" target="_blank">https://www.redhat.com/mailman/listinfo/pulp-list</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Sean Waite                                      <a href="mailto:swaite@tracelink.com" target="_blank">swaite@tracelink.com</a></div><div>Cloud Operations Engineer                GPG 3071E870</div><div>TraceLink, Inc.</div><div><br></div><div>Be Excellent to Each Other</div></div></div></div></div>
</div>