<div dir="ltr">> <span style="font-size:12.800000190734863px">Are those Travis jobs testing combinations of web servers, AMQP brokers, databases, etc? If not, is testing across those combinations a goal?</span><div><span style="font-size:12.800000190734863px"><br></span></div><div><span style="font-size:12.800000190734863px">This is definitely the goal. Right now, our build matrix tests against different databases, different Django versions, and different python versions. We could look at testing against different webservers but right now we just use django’s built-in webserver. AMQP is going away though[0].</span></div><div><span style="font-size:12.800000190734863px"><br></span></div><div><span style="font-size:12.800000190734863px">> </span><span style="font-size:12.800000190734863px">Let's say pulp_file is being tested. Is both it and pulpcore installed from source? Or is pulpcore installed from egg/wheel?</span></div><div><span style="font-size:12.800000190734863px"><br></span></div><div><span style="font-size:12.800000190734863px">Yes, we’re testing against source which also allows us to test against different PRs. Often, a pulpcore change will require a pulp_file change or vice versa and we just added some functionality recently that actually lets us test against PRs too.[1] pulp-smash is also running against source or PRs. IMO, testing against source lets us move faster than testing against releases. Maybe we can look at switching though once things have stabilized after the MVP.</span></div><div><span style="font-size:12.800000190734863px"><br></span></div><div><span style="font-size:12.800000190734863px">> </span>Who is looking at Jenkins jobs? If only QE, why have Jenkins jobs?</div><div><br></div><div>I don’t think we need them. We can trigger builds on an as-needed basis with Travis without making git commits. We’re also running builds nightly right now with Travis’ cron.</div><div><br></div><div>> <span style="font-size:12.800000190734863px">What does this mean for goals like multi-host testing?</span></div><div><span style="font-size:12.800000190734863px"><br></span></div><div><span style="font-size:12.800000190734863px">It looks like Travis supports running docker containers[2] so maybe we could leverage containers to test this sort of setup. There are definitely limitations of Travis that might require us to move to something more robust in the future but short-term I think/hope Travis will fit our needs.</span></div><div><span style="font-size:12.800000190734863px"><br></span></div><div><span style="font-size:12.800000190734863px">[0] </span><a href="https://github.com/pulp/pulp/pull/3454" target="_blank">https://github.com/pulp/<wbr>pulp/pull/3454</a></div><div><span style="font-size:12.800000190734863px">[1] </span><a href="https://github.com/pulp/pulp/pull/3435" target="_blank">https://github.com/pulp/<wbr>pulp/pull/3435</a></div><div>[2] <a href="https://docs.travis-ci.com/user/docker/">https://docs.travis-ci.com/user/docker/</a></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div><div>David<br></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Mon, Apr 23, 2018 at 12:10 PM, Jeremy Audet <span dir="ltr"><<a href="mailto:jaudet@redhat.com" target="_blank">jaudet@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Using Travis jobs instead of Jenkins jobs for testing Pulp 3 releases begs several questions:<br><ul><li>Are those Travis jobs testing combinations of web servers, AMQP brokers, databases, etc? If not, is testing across those combinations a goal?</li><li>Let's say pulp_file is being tested. Is both it and pulpcore installed from source? Or is pulpcore installed from egg/wheel?</li><li>Who is looking at Jenkins jobs? If only QE, why have Jenkins jobs? (Possible answer: So that we can trigger test runs on an as-needed basis, without making new git commits.)</li><li>What does this mean for goals like multi-host testing? That is, what does this mean for the case where a single Pulp 3 application is deployed across multiple hosts? Can that be tested with Travis? Pulp Smash is architected with this in mind, and it's been a long standing goal. The biggest impediment has been the use of legacy Jenkins (1.x) and nodepool, and recent upgrades make this a more realistic testing target.<br></li></ul>If these questions have already been considered and answered somewhere, please point me to the correct resource.<br></div></div>
</blockquote></div><br></div>