<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 1, 2016 at 7:54 PM, Sean Myers <span dir="ltr"><<a href="mailto:sean.myers@redhat.com" target="_blank">sean.myers@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">With the rollback of 2.10.1 done and 2.10.2 building, I thought it would be good<br>
to go over exactly what went happened. Hopefully this info will help to get us all<br>
on the same page as we come up with ways to prevent this from happening again. I'll<br>
be pasting links inline instead of using markdown footnotes to make things a little<br>
easier if you want to follow along step-by-step. Without further ado...<br>
<br>
A user reported a failed migration in 2.10.1 shortly after its GA release:<br>
<br>
<a href="https://pulp.plan.io/issues/2377" rel="noreferrer" target="_blank">https://pulp.plan.io/issues/<wbr>2377</a><br>
<br>
While this is certainly troubling, what was particularly worrisome about this<br>
was that the failing migration was related to a new feature introduced in 2.11,<br>
which had no business popping up in a 2.10 release:<br>
<br>
<a href="https://pulp.plan.io/issues/1983" rel="noreferrer" target="_blank">https://pulp.plan.io/issues/<wbr>1983</a> & <a href="https://github.com/pulp/pulp/pull/2637" rel="noreferrer" target="_blank">https://github.com/pulp/pulp/<wbr>pull/2637</a><br>
<br>
It became immediately apparent that at some point master had been merged to 2.10-dev,<br>
introducing 2.11's features and bug fixes to 2.10's next release. Shortly thereafter,<br>
I pulled the 2.10.1 release out of our stable repo, leaving 2.10.0 in its place, so<br>
that more users would not be affected. 2.10.1 is now unavailable.<br>
<br>
mhrivnak tracked down the merge commit that brought the 2.11 changes back to 2.10:<br>
<br>
<a href="https://github.com/pulp/pulp/commit/1d4088385ae973e2b14c7e591468ac9e51dbdb64" rel="noreferrer" target="_blank">https://github.com/pulp/pulp/<wbr>commit/<wbr>1d4088385ae973e2b14c7e591468ac<wbr>9e51dbdb64</a><br>
<br>
While he was finding that, I went through the issues open against the 2.11 platform<br>
release and first checked to see which commits related to those issues existed on<br>
2.10-dev in platform. Second, I went through the plugins to see if any plugins were<br>
affected. None were. I filed a bug to track the effort of fixing 2.10-dev in the<br>
platform repository at this point:<br>
<br>
<a href="https://pulp.plan.io/issues/2378" rel="noreferrer" target="_blank">https://pulp.plan.io/issues/<wbr>2378</a><br>
<br>
Once the merge commit was identified, I did some diffing to find and fix other<br>
commits to 2.10-dev that did not belong. All commits are documented in #2378,<br>
and have since been reverted.<br>
<br>
The merge commit is related to PR 2770:<br>
<br>
<a href="https://github.com/pulp/pulp/pull/2770" rel="noreferrer" target="_blank">https://github.com/pulp/pulp/<wbr>pull/2770</a><br>
<br>
This PR was merged to master, but should have been merged to 2.10-dev. This is where<br>
it happened. The commit from this PR was merged back to 2.10 from master. Since master<br>
was version 2.11 at this point in time, so when it was merged all 2.11-related commits<br>
on master appeared on 2.10-dev. These are the commits that were reverted to fix #2378.<br>
<br>
While I have avoided editorializing in this post-mortem, I think it's important to point<br>
out that the problem here, in my opinion, isn't really that this merge happened. I'm<br>
more interested in how 2.10.1 got released with these commits included so that we can<br>
improve our processes and prevent this from happening again.<br>
<br>
Given that the merge of master back to 2.10-dev wasn't detected until a user reported<br>
a failed migration, I'm also interested in improving our processes to catch upgrade<br>
failures like this before our users do. Had this migration not failed, I think the<br>
"extra" commits on 2.10-dev may have continued to go unnoticed for an indefinite<br>
amount of time.<br></blockquote><div><br></div><div>This was quite unfortunate. It's also worth mentioning that the upgrade automation passed before we released 2.10.1. This means that we need to improve our upgrade automation script to cover such incidents.  I will add this to our automation meeting agenda for tomorrow so that we can discuss this particular case and further improve our upgrade automation. </div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Finally, I think it's also worth mentioning that, as seen on pulp-list, 2.10-dev has<br>
been fixed, and we have a workaround to give to folks affected by this. 2.10-dev has<br>
been merged forward through 2.11-dev to master, and I'm currently in the release<br>
process for a 2.10.2 hotfix.<br></blockquote><div><br></div><div> Preethi</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
</blockquote></div><br></div></div>