<div dir="ltr">We are currently using the Jenkins GitHub PR builder plugin to perform the API calls at the end of the job. I don't think this plugin currently supports reporting multiple checks from one job.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 22, 2018 at 5:37 PM, David Davis <span dir="ltr"><<a href="mailto:daviddavis@redhat.com" target="_blank">daviddavis@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">In theory, we could have one jenkins job that makes two calls to Github’s status API—one for the pulpcore smash test result and one for the pulp_file smash test. That said, I am fine with 2 jenkins jobs too.</div><div class="gmail_extra"><span class="HOEnZb"><font color="#888888"><br clear="all"><div><div class="m_3336315350447847864gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div><div>David<br></div></div></div></div></div></div></div></div></font></span><div><div class="h5">
<br><div class="gmail_quote">On Thu, Feb 22, 2018 at 5:32 PM, Dennis Kliban <span dir="ltr"><<a href="mailto:dkliban@redhat.com" target="_blank">dkliban@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span>On Thu, Feb 22, 2018 at 5:21 PM, Daniel Alley <span dir="ltr"><<a href="mailto:dalley@redhat.com" target="_blank">dalley@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Would it be possible to have the required tests be Pulp core only, but to have an expanded set of non-mandatory smash tests which includes pulp_file?<br><br></div><div>Which would mean, the pulp_file smash test results would be there as a visual indicator, but wouldn't cause problems over the next few months before the plugin API is fully stabilized.<br></div><div><br><br></div></div></blockquote><div><br></div></span><div>Yes we can. We would need to set it up as two separate Jenkins jobs. I believe GitHub allows setting a subset of checks as gating. <br></div><span><div><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_3336315350447847864m_-6767661028428601096h5">On Thu, Feb 22, 2018 at 4:57 PM, Dennis Kliban <span dir="ltr"><<a href="mailto:dkliban@redhat.com" target="_blank">dkliban@redhat.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_3336315350447847864m_-6767661028428601096h5"><div dir="ltr"><div><div><div><div>tl;dr: which set of pulp-smash tests should run against pulpcore PRs? pulpcore + pulp_file or just pulpcore?<br></div><div><br>Jeremy and I are working to enable a new check for PRs against Pulp's 3.0-dev branch. This is going to be a jenkins job that installs pulpcore from the PR and then runs pulp-smash smoke tests against it.  <br><br></div>The smoke tests include both pulpcore and pulp_file tests. When testing PRs for pulp repository, should pulp_file also be installed thus allowing pulp-smash all the tests? The other option is to not install pulp_file and allow only the pulpcore tests to run.<br><br></div>If both pulpcore and pulp_file tests are required to pass to merge a PR, then we can get into a situation where the plugin API is intentionally changing and the tests can't pass until the change is introduced to pulp_file also. In such situations we could require the pulpcore-plugin package to have it's version bumped, which would mark the build as passing. <br><br></div>If only pulpcore tests are run we could get into a situation where the PR breaks the plugin API and we don't learn this until after the code is merged.<br><br></div><div>Which set of tests should run for pulpcore PRs?<br></div></div>
<br></div></div>______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com" target="_blank">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/mailman<wbr>/listinfo/pulp-dev</a><br>
<br></blockquote></div><br></div>
</blockquote></span></div><br></div></div>
<br>______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com" target="_blank">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/mailman<wbr>/listinfo/pulp-dev</a><br>
<br></blockquote></div><br></div></div></div>
</blockquote></div><br></div>