<div dir="ltr">A few suggestions from my own heavy use of the current "plugin" (and I may repeat some previously said ideas):<div><br></div><div> 1) consider supporting syncing from a few well known types: ftp, apache static file server</div><div> 2) Support "uploading" a file from a url</div><div> 3) Look at what wget does and recursively sync down whatever is over at location X</div><div> 4) Use name and path as the "ID" for a file to allow re-uploads of the same file name</div><div><br></div><div>I agree that syncing Git would be cool, but should be it's own entity since Git is a known "protocol". The wget way is interesting in that I used that to sync debian to a file repo:</div><div><br></div><div> 1) I synced via recursive wget a debian repository</div><div> 2) I used the script at <a href="https://gist.github.com/ehelms/3fd956ee887db3d7bac20b29efa3dd51">https://gist.github.com/ehelms/3fd956ee887db3d7bac20b29efa3dd51</a> to generate a recursive (with full file path) PULP_MANIFEST</div><div> 3) I then synced that to fully mirror the repository</div><div><br></div><div>Steps 1-3 seem common enough that I shouldn't have to do it and/or waste storage space just to replicate a potentially large file location.</div><div><br></div><div>Eric</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 6, 2017 at 6:02 PM, Tom McKay <span dir="ltr"><<a href="mailto:thomasmckay@redhat.com" target="_blank">thomasmckay@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">As a user, the standard is "wget". In foreman I entered a url to a raw github file... and it failed (obscurely). While one could argue for better error messaging, I would argue that I was pretty explicit in indicating I wanted the results returned from the url. When I sync or resync the content, just go wget it again and stuff it into the repo. Yes, it's a repo of one but in foreman I make "products" which are collections of repos. (Agreed that my next ask would be to "sync all the files listed at a url. :)<div><div class="h5"><br><br><br><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 6, 2017 at 5:03 PM, Michael Hrivnak <span dir="ltr"><<a href="mailto:mhrivnak@redhat.com" target="_blank">mhrivnak@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">The key is in discovery of files. There's no standard we know of that would be helpful, which is why we depend on a PULP_MANIFEST to tell us what files are available. Maybe there are some cases when a particular service has a well-defined way of expressing what files are available, in which case we could instead support that as the discovery mechanism. It's a good question about whether that would be an addition to the pulp_file plugin, or a separate plugin. It probably needs to be evaluated case-by-case.<div><br></div><div>As one related example, the Pulp 2 puppet importer supports both the forge API and a PULP_MANIFEST for discovery of available puppet modules on a remote server.</div></div><div class="m_8571046492278735495HOEnZb"><div class="m_8571046492278735495h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 6, 2017 at 4:46 PM, Brian Bouterse <span dir="ltr"><<a href="mailto:bbouters@redhat.com" target="_blank">bbouters@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">What if the pulp_file plugin (the pulp3 one) would support syncing files directly from remotes without a manifest? Like syncing from a remote webserver or version control system. Maybe that would be a VCS plugin, not the file_plugin, but regardless, other software similar to Pulp supports [0] that use case.<br><br>[0]: <a href="http://bit.ly/2s1pCmF" target="_blank">http://bit.ly/2s1pCmF</a><br></div><div class="m_8571046492278735495m_-7701679404412038458HOEnZb"><div class="m_8571046492278735495m_-7701679404412038458h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jun 5, 2017 at 1:10 PM, Michael Hrivnak <span dir="ltr"><<a href="mailto:mhrivnak@redhat.com" target="_blank">mhrivnak@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>You do not need to create a manifest in order to upload. You only need one in order to sync. Here is documentation about upload:</div><div><br></div><div><a href="http://docs.pulpproject.org/plugins/pulp_rpm/user-guide/isos.html#uploading-isos-to-a-repository" target="_blank">http://docs.pulpproject.org/pl<wbr>ugins/pulp_rpm/user-guide/isos<wbr>.html#uploading-isos-to-a-repo<wbr>sitory</a><br></div><div><br></div>You can also create the manifest file in 3-4 lines of bash. Maybe it would be useful for Pulp to include a small script that can generate the manifest.<div><br></div><div>That said, you can always upload your files to a Pulp repo, and publish it, which will cause Pulp to create a new manifest for you.</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_8571046492278735495m_-7701679404412038458m_9014334910374232803h5">On Mon, Jun 5, 2017 at 6:41 AM, Tom McKay <span dir="ltr"><<a href="mailto:thomasmckay@redhat.com" target="_blank">thomasmckay@redhat.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_8571046492278735495m_-7701679404412038458m_9014334910374232803h5"><div dir="ltr"><div>I'd like to sync individual files and folders (recursively?) into pulp via foreman. Apparently, though, I need to create a pulp manifest in order to upload. Is this necessary or can pulp do it for me? Or should I build this into foreman? @ehelms provided a gist of the steps[1] and it seems pretty basic and something pulp could be doing itself.<br><br></div><div>My use case is that I wanted to import a build file for openshift from github, then promote that file (and other artifacts) through foreman's life cycle environments. A lot of demos and tutorials for openshift start from git and other non-local components.<br></div><br>[1] <a href="https://gist.github.com/ehelms/3fd956ee887db3d7bac20b29efa3dd51" target="_blank">https://gist.github.com/ehelms<wbr>/3fd956ee887db3d7bac20b29efa3d<wbr>d51</a><br></div>
<br></div></div>______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com" target="_blank">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/mailman<wbr>/listinfo/pulp-dev</a><br>
<br></blockquote></div><span class="m_8571046492278735495m_-7701679404412038458m_9014334910374232803HOEnZb"><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div class="m_8571046492278735495m_-7701679404412038458m_9014334910374232803m_-1811685456717525125gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><p style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"><span style="margin:0px!important;padding:0px!important">Michael</span> <span style="margin:0px!important;padding:0px!important">Hrivnak</span></p><p style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"></p><span style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"><span style="margin:0px!important;padding:0px!important">Principal Software Engineer</span><span style="margin:0px!important;padding:0px!important">, <span style="margin:0px!important;padding:0px!important">RHCE</span></span> </span><span style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px"></span><br style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"><p style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important">Red Hat</p></div></div>
</font></span></div>
<br>______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com" target="_blank">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/mailman<wbr>/listinfo/pulp-dev</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_8571046492278735495m_-7701679404412038458gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><p style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"><span style="margin:0px!important;padding:0px!important">Michael</span> <span style="margin:0px!important;padding:0px!important">Hrivnak</span></p><p style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"></p><span style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"><span style="margin:0px!important;padding:0px!important">Principal Software Engineer</span><span style="margin:0px!important;padding:0px!important">, <span style="margin:0px!important;padding:0px!important">RHCE</span></span> </span><span style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px"></span><br style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important"><p style="color:rgb(0,0,0);font-family:overpass-mono,monospace;font-size:10px;margin:0px!important;padding:0px!important">Red Hat</p></div></div>
</div>
</div></div></blockquote></div><br></div></div></div></div></div>
<br>______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
<br></blockquote></div><br></div>