<div dir="ltr">Hi Tim,<div><br></div><div>Apologies - I think your email may have missed our attention here. The deployment plans and use case sounds extremely well suited for Pulp 3 and pulp_squeezer. Thanks for providing a detailed email with links to what resources you've found. That was helpful in understanding what you have already seen/read.</div><div><br></div><div>Have you determined what storage you will be using? That might help guide subsequent answers. Let's try to get you some answers - any updates since this original email? There are likely a few more requirements on your setup that we might need to know to provide some guidance here. This bump might help get a few of the easier questions answered. My apologies again that this email escaped our attention.</div><div><br></div><div>-Robin<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Nov 3, 2020 at 2:40 PM Tim Black <<a href="mailto:timblaktu@gmail.com">timblaktu@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello pulp community! I'm investigating using pulp for my company's primary artifact management system, and am looking for some architectural and configuration recommendations, given our use case and needs:<div><ul><li>use debian, python, container, and file content plugins</li><li>produce and consume private content</li><li></li><li>use remotes to implement mirroring of "upstream" public debian, pypi, and docker repos for performance and stability reasons (probably using the excellent <i>on demand</i> feature, and filtering for our arches and distributions of interest)<br></li><li>replicate our initial pulp instance to new instances at multiple sites, implementing scheduled synchronization of all content</li><li></li><li>our file content will dwarf the other plugin content, being counted in TB instead of GB</li></ul>What is your recommendation for configuring a new pulp instance to support quick crash recovery (backup/restore) and replication to other pulp instances at multiple sites, synchronizing all content with each other? <div><br></div><div>Given that I am using ansible (pulp_installer) for all provisioning and configuration of my pulp instances (and perhaps also using <a href="https://github.com/pulp/squeezer" target="_blank">pulp squeezer</a> to manage our repositories) what storage entities are required to backup/restore/replicate in a pulp instance? </div><div><br></div><div>I've read about <a href="https://docs.pulpproject.org/pulpcore/components.html#" target="_blank">pulp architecture</a> and <a href="https://docs.pulpproject.org/pulpcore/installation/storage.html" target="_blank">pulp storage</a> and also <a href="https://pulpproject.org/2020/07/09/pulp-3.5-installer-roles/" target="_blank">pulp deployment scenarios</a>, but it's unclear to me whether backing up just the django-storages (local fs, sw, azure) is sufficient, or if the database also must be backed up/restored/synchronized. Please point me at any other documentation or discussions that would help shed light on how to achieve my goal of configuring multiple synchronized pulp instances that can be easily restored from backup.</div><div><br></div><div>I understand that the pulp content plugins themselves implement synchronization with remotes, so perhaps the best solution is to configure a cluster of pulp instances using the same ansible playbooks, but defining one of them as the <i>primary</i>, and configure the others to use the <i>primary</i> as a remote? Are there techniques available to set up multi-directional sync, does it need to follow the <i>primary</i>/<i>secondary</i> model? (i.e. can I also set up the primary to synchronize content from all of the <i>secondaries</i>, so that content added to a secondary will become present on the primary and all other secondaries?)</div><div><br>It seems that pulp has been designed (and then redesigned) for my use case, but I'm having trouble putting together all the architectural and configuration pieces required to paint a complete picture of my goal. Thanks so much for your recommendations and your time!</div></div></div>
_______________________________________________<br>
Pulp-list mailing list<br>
<a href="mailto:Pulp-list@redhat.com" target="_blank">Pulp-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-list" rel="noreferrer" target="_blank">https://www.redhat.com/mailman/listinfo/pulp-list</a></blockquote></div>