<div dir="ltr">Great work on this. Also, thanks for announcing this on pulp-dev well in advance.</div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div><div>David<br></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Wed, May 9, 2018 at 8:29 AM, Robin Chan <span dir="ltr"><<a href="mailto:rchan@redhat.com" target="_blank">rchan@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">dalley has learned how to do some debugging already, so maybe he can<br>
look at doing a demo. Good suggestion, Kersom. It would be good to<br>
link to in a blog post - and  also point out the good demo @bmbouter<br>
put together for pulp 2.<br>
<br>
great job @dalley & @bmbouter on the blog post!<br>
<div class="HOEnZb"><div class="h5"><br>
On Wed, May 9, 2018 at 11:24 AM, Kersom <<a href="mailto:kersom@redhat.com">kersom@redhat.com</a>> wrote:<br>
> At the proper time, a demo about the Pulp 3 task system will be very<br>
> beneficial. I am thinking about something similar what it was done for Pulp<br>
> 2.<br>
><br>
> Looking forward for this.<br>
><br>
> Regards,<br>
><br>
><br>
><br>
><br>
><br>
><br>
> On Wed, May 9, 2018 at 10:32 AM, Brian Bouterse <<a href="mailto:bbouters@redhat.com">bbouters@redhat.com</a>> wrote:<br>
>><br>
>> All PRs have Travis showing green and all necessary LGTMs. The plan is to<br>
>> merge next Tuesday the 15th, which means it will be in core Beta 4.<br>
>><br>
>> Yesterday, @dalley and I published a blog post which outlines the change<br>
>> for users along with a porting guide for plugins to port onto RQ as well.<br>
>><br>
>> <a href="https://pulpproject.org/2018/05/08/pulp3-moving-to-rq/" rel="noreferrer" target="_blank">https://pulpproject.org/2018/<wbr>05/08/pulp3-moving-to-rq/</a><br>
>><br>
>> Thank you to everyone for the help, collaboration, and energy on this<br>
>> significant change.<br>
>><br>
>> On Mon, May 7, 2018 at 5:37 PM, Daniel Alley <<a href="mailto:dalley@redhat.com">dalley@redhat.com</a>> wrote:<br>
>>><br>
>>> I've finished my review and resolved all of the 'blocker' issues that<br>
>>> were uncovered during testing.  Overall, I'm highly confident that this is a<br>
>>> better path forwards than the continued use of Celery / Kombu.  There are a<br>
>>> couple of outstanding edge cases to be resolved eventually, which I plan to<br>
>>> file as issues post-merge, but nothing serious or intractable.<br>
>>><br>
>>> If there are no objections, I think it would be reasonable to merge this<br>
>>> code after this week's beta builds are published (after, in order to avoid<br>
>>> major changes during Summit / PyCon prep time).<br>
>>><br>
>>> Thank you, Brian, for doing the planning and work needed to make this<br>
>>> happen.  It was a lot of effort and is very highly appreciated.<br>
>>><br>
>>> On Mon, Apr 30, 2018 at 8:28 AM, Brian Bouterse <<a href="mailto:bbouters@redhat.com">bbouters@redhat.com</a>><br>
>>> wrote:<br>
>>>><br>
>>>> Through several rebases, now all PRs are showing the RQ PRs on Travis as<br>
>>>> passing with pulp-smash. Several points of feedback have been addressed.<br>
>>>><br>
>>>> If you're interested in commenting on these PRs or trying them out,<br>
>>>> please do. I hope to merge after the other taking system maintainers @dalley<br>
>>>> and @daviddavis have finished their testing/review and barring any other<br>
>>>> calls for delay or blocking concerns.<br>
>>>><br>
>>>> If there are any questions, issues, or concerns, please reach out, and<br>
>>>> we can talk through them.<br>
>>>><br>
>>>><br>
>>>><br>
>>>> On Fri, Apr 20, 2018 at 4:18 PM, Brian Bouterse <<a href="mailto:bbouters@redhat.com">bbouters@redhat.com</a>><br>
>>>> wrote:<br>
>>>>><br>
>>>>> I put together a prototype and posted the PRs. I'm still working to get<br>
>>>>> Travis happy, but locally 100% of smash tests using these branches. It's<br>
>>>>> worked very reliably for me so far. There are no gaps in the pulp feature<br>
>>>>> set on top of RQ.<br>
>>>>><br>
>>>>> I hope people test it out and give some feedback. See the commit<br>
>>>>> messages for details on what was done. Here are the PRs:<br>
>>>>><br>
>>>>> <a href="https://github.com/pulp/pulp/pull/3454" rel="noreferrer" target="_blank">https://github.com/pulp/pulp/<wbr>pull/3454</a><br>
>>>>> <a href="https://github.com/pulp/pulp_file/pull/72" rel="noreferrer" target="_blank">https://github.com/pulp/pulp_<wbr>file/pull/72</a><br>
>>>>> <a href="https://github.com/pulp/devel/pull/146" rel="noreferrer" target="_blank">https://github.com/pulp/devel/<wbr>pull/146</a><br>
>>>>> <a href="https://github.com/PulpQE/pulp-smash/pull/960" rel="noreferrer" target="_blank">https://github.com/PulpQE/<wbr>pulp-smash/pull/960</a><br>
>>>>><br>
>>>>> Feel free to send questions here or to the PR. Any feedback is welcome.<br>
>>>>><br>
>>>>> -Brian<br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>><br>
>>>>> On Thu, Mar 22, 2018 at 5:28 PM, Milan Kovacik <<a href="mailto:mkovacik@redhat.com">mkovacik@redhat.com</a>><br>
>>>>> wrote:<br>
>>>>>><br>
>>>>>> +1 I like RQ and I like <a href="http://python-rq.org/docs/testing/" rel="noreferrer" target="_blank">http://python-rq.org/docs/<wbr>testing/</a> esp.<br>
>>>>>> there's Fakeredis ;)<br>
>>>>>><br>
>>>>>><br>
>>>>>> --<br>
>>>>>> milan<br>
>>>>>><br>
>>>>>><br>
>>>>>> On Thu, Mar 22, 2018 at 6:58 PM, Brian Bouterse <<a href="mailto:bbouters@redhat.com">bbouters@redhat.com</a>><br>
>>>>>> wrote:<br>
>>>>>> > Thanks for all the discussion both on list and on irc. After more<br>
>>>>>> > investigation, it sounds like there are no feature gaps, but we will<br>
>>>>>> > need to<br>
>>>>>> > incorporate this workaround to cancel a task that is already<br>
>>>>>> > running.<br>
>>>>>> ><br>
>>>>>> > The feedback I've heard on the idea is that it's valuable and looks<br>
>>>>>> > feasible, but we won't really know until we prototype it a bit.<br>
>>>>>> > Based on the<br>
>>>>>> > technical outline in the previous email, I believe it can be<br>
>>>>>> > prototyped in a<br>
>>>>>> > day or two. I plan to do this soon, once I contribute to a few other<br>
>>>>>> > required-for-beta planning items first. I'll post my PR to see what<br>
>>>>>> > other<br>
>>>>>> > think of the change, probably next week.<br>
>>>>>> ><br>
>>>>>> ><br>
>>>>>> ><br>
>>>>>> > On Wed, Mar 21, 2018 at 6:41 PM, Daniel Alley <<a href="mailto:dalley@redhat.com">dalley@redhat.com</a>><br>
>>>>>> > wrote:<br>
>>>>>> >><br>
>>>>>> >> I meant in the sense that, what is the aftermath when it comes back<br>
>>>>>> >> online, and is it screwed up in ways that cause side effects.<br>
>>>>>> >><br>
>>>>>> >> On Wed, Mar 21, 2018 at 5:02 PM, Jeremy Audet <<a href="mailto:jaudet@redhat.com">jaudet@redhat.com</a>><br>
>>>>>> >> wrote:<br>
>>>>>> >>><br>
>>>>>> >>> > RQ does not support revoking tasks.  If you send the worker a<br>
>>>>>> >>> > SIGINT,<br>
>>>>>> >>> > it will finish the task and then stop processing new ones.  If<br>
>>>>>> >>> > you send the<br>
>>>>>> >>> > worker SIGKILL, it will stop immediately, but I don't think it<br>
>>>>>> >>> > gracefully<br>
>>>>>> >>> > handles this circumstance.<br>
>>>>>> >>><br>
>>>>>> >>> Nothing handles SIGKILL gracefully. Processes can't catch that<br>
>>>>>> >>> signal.<br>
>>>>>> >>> `kill -9 $pid` sends SIGKILL.<br>
>>>>>> >>><br>
>>>>>> >>> If one is looking for a way to gracefully, immediately kill an RQ<br>
>>>>>> >>> worker, then SIGTERM may do the trick. Anecdotally, many processes<br>
>>>>>> >>> handle this signal in a hurried fashion. Semantically, this is<br>
>>>>>> >>> appropriate: SIGINT is the "terminal interrupt" signal (Ctrl+c<br>
>>>>>> >>> sends<br>
>>>>>> >>> SIGINT), whereas SIGTERM is the "termination signal."<br>
>>>>>> >><br>
>>>>>> >><br>
>>>>>> ><br>
>>>>>> ><br>
>>>>>> > ______________________________<wbr>_________________<br>
>>>>>> > Pulp-dev mailing list<br>
>>>>>> > <a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
>>>>>> > <a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
>>>>>> ><br>
>>>>><br>
>>>>><br>
>>>><br>
>>><br>
>><br>
>><br>
>> ______________________________<wbr>_________________<br>
>> Pulp-dev mailing list<br>
>> <a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
>> <a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
>><br>
><br>
><br>
> ______________________________<wbr>_________________<br>
> Pulp-dev mailing list<br>
> <a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
> <a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
><br>
<br>
______________________________<wbr>_________________<br>
Pulp-dev mailing list<br>
<a href="mailto:Pulp-dev@redhat.com">Pulp-dev@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-dev" rel="noreferrer" target="_blank">https://www.redhat.com/<wbr>mailman/listinfo/pulp-dev</a><br>
</div></div></blockquote></div><br></div>