<div dir="ltr"><div>Earlier today we discussed ideas for upgrade testing. The notes were kept here [0]. The summary of the meeting minutes is below.</div><div><br></div><div>* from which version to which version?<br>    * from the latest x.y.z release of pulpcore and plugin being to tested to the master branch of pulpcore and master branch of plugin<br>* which database tables should we test?<br>    * all the content types, all remote types, all exporters, ALL resources<br>    * each plugin team should decide it<br>* we want to test:<br>    * migrations<br>    * REST API<br>* have each plugin upgrade test be a separate job<br>* stretch goal - test all katello plugins together<br>* add a check to regular CI that ensures no new migrations are generated when makemigrations is run<br>    * <a href="https://pulp.plan.io/issues/4984">https://pulp.plan.io/issues/4984</a><br>* <a href="https://pulp.plan.io/issues/6637">https://pulp.plan.io/issues/6637</a> - the epic for improving functional test<br>    * Should we combine 6637 effort with the upgrade testing?<br>        * if we don't combine, we will end up with 2 sets of tests<br>        * need to handle cases where a feature is not present in version N-1 and added in version N<br>            * tests for each plugin are already specific to the version they sit within<br>* as a first step in this giant effort we should simply test that we can install a previous version of pulpcore + plugin and then run migrations for master branch of pulpcore + plugin.</div><div><br></div><div><br></div><div><br></div><div>[0] <a href="https://hackmd.io/IwhWRn6OS9ekKJNfQrGYFw">https://hackmd.io/IwhWRn6OS9ekKJNfQrGYFw</a></div></div>