<div dir="ltr"><div><div>My concern isn't pulp processing, it's the shear size and number of the repos. I did a full sample export today and it was over 40GB for all the different distributions (CentOS, RedHat, etc) and releases (5 and 6, etc) that we have. The "changes" tarball will only be around 2GB. <br><br>My full-day effort time frame is not based on pulp at all, but based on our existing procedures to do a final sync of the internet repos, use some shell scripts that loop through the repos to perform repodiffs that generates our "changes" tarball, then export that to media to ingest on the downstream servers, then building the repos on the other end. I'm trying to replace this process with pulp on both ends, hopefully it won't be a full day process.<br><br></div>Moving forward, I'm going to see how long it takes to export each entire repo and move it downstream and import there. If it's under 3-4 hours, I think that's doable. I've also started playing around with using something like rsync to generate a batchfile binary blob that can apply changes to an existing downstream repo and create the next month's release. Barring that, I could re-purpose our old legacy repodiff script to achieve the same results.<br><br></div>As a side note, after some more research, it looks as though Katello-disconnected is the supported method to do what I'm attempting. We're not in a position to start integrating Katello right now, though. <br><div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 18, 2015 at 9:38 AM, Barnaby Court <span dir="ltr"><<a href="mailto:bcourt@redhat.com" target="_blank">bcourt@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Mike,<br>
<br>
When you say it's a full day effort right now, what is it that is causing it to be a full day effort? Is it personal involvement or the amount of time that Pulp is spending on processing? If it is personal involvement I would highly recommend repo groups so that you can configure all the repositories you are mirroring once and then export them in one action. If it Pulp processing time it would be helpful to understand how many repositories, how many units of each type (roughly) in each repository and which parameters you have enabled on all your repositories. Some parameters greatly increase the processing time. The biggest is generating the sqlite files. If that is turned on it can greatly increase the time required to publish. Also, is your internet connected Pulp server using local disk for the /var/lib/pulp directory or is it using NFS? Thanks!<br>
<span class="HOEnZb"><font color="#888888"><br>
-Barnaby<br>
</font></span><span class="im HOEnZb"><br>
----- Original Message -----<br>
From: "Mike Griffin" <<a href="mailto:mgriffin@griftech.net">mgriffin@griftech.net</a>><br>
</span><div class="HOEnZb"><div class="h5">To: "Randy Barlow" <<a href="mailto:rbarlow@redhat.com">rbarlow@redhat.com</a>><br>
Cc: <a href="mailto:pulp-list@redhat.com">pulp-list@redhat.com</a><br>
Sent: Friday, May 15, 2015 4:42:39 PM<br>
Subject: Re: [Pulp-list] Using pulp to create monthly releases<br>
<br>
What I'm struggling with is how I can export new/updated packages of a repo on my internet-connected pulp server and on the downstream server re-create the full release-repo, using the combination of existing packages on the downstream server and the updates from the upstream server. This task would be easy if I could just export the entire release-repo every month and import it downstream. It's just that due to the number of distros we support, that gets to be unwieldy very quickly. Even with just the new/updated packages every month, it's a full day effort now.<br>
<br>
<br>
<br>
On Fri, May 15, 2015 at 2:21 PM, Randy Barlow < <a href="mailto:rbarlow@redhat.com">rbarlow@redhat.com</a> > wrote:<br>
<br>
<br>
-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA512<br>
<br>
On 05/14/2015 07:21 PM, Mike Griffin wrote:<br>
> Maybe I can illustrate my requirements a little easier. For<br>
> example: During my first month of April, package A-1.0, B-1.0, and<br>
> C-1.0 are downloaded via the nightly sync. When I create my<br>
> release, all 3 packages appear in my export and I move them<br>
> downstream.<br>
><br>
> The next month when I create my release-set, package A is updated<br>
> to version 2.0, B is static, C is removed upstream and D1.0 is<br>
> released. Since I have my nightly sync set to "remove-missing true"<br>
> and "retain-old-count 0", A1.0 and C1.0 should be removed from the<br>
> sync repo and therefore removed from the release-set. I want to<br>
> move A2.0 and D1.0 downstream, copy B1.0 that already exists<br>
> downstream and re-create the release directory there (A2.0, B1.0,<br>
> D1.0).<br>
<br>
Hi Mike,<br>
<br>
Perhaps you can achieve the above by removing all packages from the<br>
destination repo, and then copying all packages from the source. So<br>
long as no publish happens in-between, the final publish will<br>
atomically switch (i.e., no clients will ever see the empty repo).<br>
Does that make sense?<br>
<br>
- --<br>
Randy Barlow<br>
-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2<br>
<br>
iQIcBAEBCgAGBQJVVjlBAAoJEIyFaKUJtmpicv8P/3lbQ52FTs9YXzyhb80gxCwV<br>
8NwqW3y0ZVKjyK4ZK1ML9J/26ig7Bz4e4rgBvjJokuzcI2AdyoPCJtuGcxucFa0l<br>
DZA0T5VtNlpggEET9LoVeb23C9b/mQma54NmVkuzUDBlyyqDAHL+zK11Hs+SYp3/<br>
LSq+p/QT6TKYI/GqjoTVZYGfKpVvpjt4GBERP6+K4YRhKD2x3m7R0zlpQQZ2++aq<br>
JN/+UCGuPjEBxXUZOIsLLUUuTgswWwih1Qghs3ZCxxotoSw2IfMXmf3Zl4W+0TS8<br>
U46lh9CKavmPx01e7fcPmeZlObZBpSpFwqFp7PFzmOeWAwEWxTLptyCT618/RAKM<br>
KvXY0aYT2DWGQ9MQFiXr93MoB4+Ckc7DHjv/DW2b/9rKGp7T4HF/Y9BzEwzDE1ua<br>
wArN8fIRXfSJWbdbOldl97i8SSroagTrqrbnpRtxa4CBdgc7i+36Ct6RnCSq59OL<br>
srFTEmwap78x9N9AntjaWUhFbNlai54VU8AYbkPavVOP0QLz8Vzgsaj3SJ+2dBJ7<br>
xTEhQRbyoVnSu3FDNY1AkQP9Rr0ZlQSUYBgVhXWhwaZU9breltMMGfX3PkC0M8iu<br>
jj/K6MmKPwp2fhn7TmvWDDaBnwPJqvAqGlKhUXlHN3vGkoVAngcoPvaThz/td2Na<br>
MWR1e2U5y8NrwJ/ml9QA<br>
=yMlk<br>
-----END PGP SIGNATURE-----<br>
<br>
_______________________________________________<br>
Pulp-list mailing list<br>
<a href="mailto:Pulp-list@redhat.com">Pulp-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-list" target="_blank">https://www.redhat.com/mailman/listinfo/pulp-list</a><br>
<br>
<br>
<br>
--<br>
Regards,<br>
Mike Griffin<br>
<br>
Ever grateful, ever true<br>
<br>
_______________________________________________<br>
Pulp-list mailing list<br>
<a href="mailto:Pulp-list@redhat.com">Pulp-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-list" target="_blank">https://www.redhat.com/mailman/listinfo/pulp-list</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div>Regards,<br>Mike Griffin<br><br></div><div>Ever grateful, ever true<br></div></div></div>
</div>