<div dir="ltr">Actually, I solved the issue with the additional_plugins and I opened 2 PRs:<div>- <a href="https://github.com/pulp/pulpcore/pull/1327">https://github.com/pulp/pulpcore/pull/1327</a></div><div>- <a href="https://github.com/pulp/plugin_template/pull/384">https://github.com/pulp/plugin_template/pull/384</a></div><div><br></div><div>I believe this thread is not needed anymore, as plugin writers can pick how many releases they want to test.</div><div>It is safer to test only the latest release, but you can opt to add more (the older the release, the more chances to break)</div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><div dir="ltr">Best regards,</div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:14px;font-weight:700;text-transform:capitalize">Fabricio</span><span style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:14px;font-weight:700;text-transform:capitalize"> </span><span style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:14px;font-weight:700;text-transform:capitalize">Aguiar</span><div>Software Engineer, Pulp Project</div><div><a href="https://www.redhat.com/" style="color:rgb(0,136,206);font-family:RedHatText,sans-serif;font-size:12px;margin:0px" target="_blank">Red Hat Brazil - Latam</a><br></div><div>+55 22 999000595</div><div><img src="https://marketing-outfit-prod-images.s3-us-west-2.amazonaws.com/f5445ae0c9ddafd5b2f1836854d7416a/Logo-RedHat-Email.png" width="96" height="22"><br></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 12, 2021 at 5:34 PM Fabricio Aguiar <<a href="mailto:faguiard@redhat.com">faguiard@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi everyone,<div><br></div><div>A while ago we met to discuss upgrade tests as a way to catch and avoid DB migration failures at CI time.</div><div>I took the meeting notes [1] and started a POC [2] and I want to share my perspective.</div><div>I found myself doing more workarounds than I expected, and at first, I thought this work was a no-go for this reason, but now I'm starting to think if I had to do these workarounds because we didn't have these tests before.</div><div><br></div><div>I spread multiple comments on [2] to try to explain my reasoning or the why of the workarounds, please take a look at the PR and share your thoughts.</div><div><br></div><div>Some plugins need other plugins while running tests, it adds one more challenge of keeping all versions compatible e.g. pulp-2to3-migration + pulpcore + pulp_rpm + ...</div><div><br></div><div>Another challenge is dealing with requirements from previous versions, I had to do a hack for pinning django for example, and having additional plugins may add more complexity to it.</div><div><br></div><div>The last challenge I noticed was about external commands or specific CI scripts for specific releases and breaking changes. I had to do some workarounds for the app label change for example and I'm not sure if I covered all the places (at least one of the tests is failing because of this). A while ago pulpcore needed an external command to be run before the migration (the artifact path change) I suspect this is the reason for the failure of another test.</div><div><br></div><div>My personal opinion: I think it really worth having this kind of test, I started looking for testing only migration, but during the process, I became aware of dependencies, commands, and other things that may have an influence on the upgrade process. The far we go in the past, the more challenging it gets, so for starting I would only test from the last release to master. After doing this for a while it may get easier to test 2 or 3 releases ago.</div><div><br></div><div>[1] <a href="https://hackmd.io/IwhWRn6OS9ekKJNfQrGYFw" target="_blank">https://hackmd.io/IwhWRn6OS9ekKJNfQrGYFw</a></div><div>[2] <a href="https://github.com/pulp/pulp_file/pull/503" target="_blank">https://github.com/pulp/pulp_file/pull/503</a><br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><div dir="ltr">Best regards,</div><div dir="ltr"><span style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:14px;font-weight:700;text-transform:capitalize">Fabricio</span><span style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:14px;font-weight:700;text-transform:capitalize"> </span><span style="color:rgb(0,0,0);font-family:RedHatText,sans-serif;font-size:14px;font-weight:700;text-transform:capitalize">Aguiar</span><div>Software Engineer, Pulp Project</div><div><a href="https://www.redhat.com/" style="color:rgb(0,136,206);font-family:RedHatText,sans-serif;font-size:12px;margin:0px" target="_blank">Red Hat Brazil - Latam</a><br></div><div>+55 22 999000595</div><div><img src="https://marketing-outfit-prod-images.s3-us-west-2.amazonaws.com/f5445ae0c9ddafd5b2f1836854d7416a/Logo-RedHat-Email.png" width="96" height="22"><br></div></div></div></div></div></div></div></div></div></div>
</blockquote></div>