<div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Are those Travis jobs testing combinations of web servers, AMQP brokers,
 databases, etc? If not, is testing across those combinations a goal?</blockquote><div><br></div><div>The travis jobs currently text a matrix of Django version (2.0 and 1.1 LTS), database (sqlite and postgresql), and python version (3.5 and 3.6).  Presumably the broker variable is about to go away, and we could theoretically easily add web server tests in later but we don't have the Apache / Nginx configs written yet.<br><br></div><div>I feel like if we add much more to Travis though, it's going to start getting bogged down.  It has already gotten pretty slow at times.  We should consider how well (or poorly) it's going to scale if we start adding more and more tests and combinations to the Travis PR test runners.  Maybe if some combos only ran nightly...<br><br><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Let's say pulp_file is being tested. Is both it and pulpcore installed from source? Or is pulpcore installed from egg/wheel?</blockquote><div><br></div><div>Currently, source.  Dennis added a nice feature where if you specify a Pulp Smash or Pulp File PR in your commit, it will check out that specific pull request and run tests against it. <br><div><br><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">What does this mean for goals like multi-host testing? That is, what 
does this mean for the case where a single Pulp 3 application is 
deployed across multiple hosts? Can that be tested with Travis? </blockquote><br></div><div>I'm pretty sure we can't do that with Travis, although someone correct me if I'm wrong.<br><br><br><br><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Apr 23, 2018 at 12:10 PM, Jeremy Audet <span dir="ltr"><<a href="mailto:jaudet@redhat.com" target="_blank">jaudet@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Using Travis jobs instead of Jenkins jobs for testing Pulp 3 releases begs several questions:<br><ul><li>Are those Travis jobs testing combinations of web servers, AMQP brokers, databases, etc? If not, is testing across those combinations a goal?</li><li>Let's say pulp_file is being tested. Is both it and pulpcore installed from source? Or is pulpcore installed from egg/wheel?</li><li>Who is looking at Jenkins jobs? If only QE, why have Jenkins jobs? (Possible answer: So that we can trigger test runs on an as-needed basis, without making new git commits.)</li><li>What does this mean for goals like multi-host testing? That is, what does this mean for the case where a single Pulp 3 application is deployed across multiple hosts? Can that be tested with Travis? Pulp Smash is architected with this in mind, and it's been a long standing goal. The biggest impediment has been the use of legacy Jenkins (1.x) and nodepool, and recent upgrades make this a more realistic testing target.<br></li></ul>If these questions have already been considered and answered somewhere, please point me to the correct resource.<br></div></div>
<br>______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
<br></blockquote></div><br></div>