<div dir="ltr"><div>This looks like the traceback from this issue[0]. You have probably updated pulpcore and plugin packages after the initial install. Unfortunately, this is currently not supported. However, we will start supporting upgrades after pulpcore 3.0 goes GA in December[1].  <br></div><div><br></div><div>[0] <a href="https://pulp.plan.io/issues/5511">https://pulp.plan.io/issues/5511</a></div><div>[1] <a href="https://pulpproject.org/2019/09/30/pulp-3-GA-timeline/">https://pulpproject.org/2019/09/30/pulp-3-GA-timeline/</a></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 28, 2019 at 4:03 PM Bin Li (BLOOMBERG/ 120 PARK) <<a href="mailto:bli111@bloomberg.net">bli111@bloomberg.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="white-space:pre-wrap;font-size:small;font-family:"Courier New",Courier,"BB.FixedWidth"">Here is the traceback:<div><br></div><div><br></div><div>Oct 28 15:58:45 ipaddr gunicorn[165752]: 127.0.0.1 - admin [28/Oct/2019:19:58:45 +0000] "GET /pulp/api/v3/status/ HTTP/1.0" 200 1366 "-" "HTTPie/0.9.4"</div><div>Oct 28 15:58:50 ipaddr gunicorn[165752]: 127.0.0.1 - admin [28/Oct/2019:19:58:50 +0000] "GET /pulp/api/v3/status/ HTTP/1.0" 200 1366 "-" "HTTPie/0.9.4"</div><div>Oct 28 15:58:55 ipaddr gunicorn[165752]: pulp: django.request:WARNING: Not Found: /pulp/api/v3/tasks/rpm/rpm/</div><div>Oct 28 15:58:55 ipaddr gunicorn[165752]: 127.0.0.1 - admin [28/Oct/2019:19:58:55 +0000] "GET /pulp/api/v3/tasks/rpm/rpm/ HTTP/1.1" 404 77 "-" "HTTPie/0.9.4"</div><div>Oct 28 15:59:01 ipaddr systemd[1]: Started Session 50160 of user root.</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: pulp: django.request:ERROR: Internal Server Error: /pulp/api/v3/tasks/</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: Traceback (most recent call last):</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/django/core/handlers/exception.py", line 34, in inner</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: response = get_response(request)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/django/core/handlers/base.py", line 115, in _get_response</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: response = self.process_exception_by_middleware(e, request)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/django/core/handlers/base.py", line 113, in _get_response</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: response = wrapped_callback(request, *callback_args, **callback_kwargs)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/django/views/decorators/csrf.py", line 54, in wrapped_vie</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: return view_func(*args, **kwargs)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/viewsets.py", line 114, in view</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: return self.dispatch(request, *args, **kwargs)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/views.py", line 505, in dispatch</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: response = self.handle_exception(exc)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/views.py", line 465, in handle_exception</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: self.raise_uncaught_exception(exc)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/views.py", line 476, in raise_uncaught_exc</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: raise exc</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/views.py", line 502, in dispatch</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: response = handler(request, *args, **kwargs)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/mixins.py", line 43, in list</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: return self.get_paginated_response(serializer.data)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/serializers.py", line 757, in data</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: ret = super().data</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/serializers.py", line 261, in data</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: self._data = self.to_representation(self.instance)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/serializers.py", line 675, in to_represent</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: self.child.to_representation(item) for item in iterable</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/serializers.py", line 675, in <listcomp></div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: self.child.to_representation(item) for item in iterable</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/serializers.py", line 526, in to_represent</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: ret[field.field_name] = field.to_representation(attribute)</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: File "/opt/utils/venv/pulp/3.6.5/lib64/python3.6/site-packages/rest_framework/fields.py", line 1721, in to_representatio</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: for key, val in value.items()</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: AttributeError: 'str' object has no attribute 'items'</div><div>Oct 28 15:59:08 ipaddr gunicorn[165752]: 127.0.0.1 - admin [28/Oct/2019:19:59:08 +0000] "GET /pulp/api/v3/tasks/ HTTP/1.0" 500 27 "-" "HTTPie/0.9.4"</div><div><br><div style="font-size:small;font-family:"Courier New",Courier,"BB.FixedWidth""><div><div><div>From: <a href="mailto:dkliban@redhat.com" target="_blank">dkliban@redhat.com</a> At: 10/28/19 15:37:34</div>To: <a href="mailto:bli111@bloomberg.net" target="_blank"> Bin Li (BLOOMBERG/ 120 PARK ) </a><br>Cc: <a href="mailto:pulp-list@redhat.com" target="_blank"> pulp-list@redhat.com</a><br>Subject: Re: [Pulp-list] pulp3 tasks 500 error</div><br></div><div style="background:white none repeat scroll 0% 0%;color:black;font-family:Arial,"BB.Proportional";font-size:small;white-space:normal"><div><blockquote><div dir="ltr">Do you see anything in journalctl when the 500 response is generated? I would expect a traceback in the pulp-api logs. <br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 28, 2019 at 3:16 PM Bin Li (BLOOMBERG/ 120 PARK) <<a href="mailto:bli111@bloomberg.net" target="_blank">bli111@bloomberg.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="font-size:small;font-family:"Courier New",Courier,"BB.FixedWidth";white-space:pre-wrap">During a test to sync about 100 repositories, we suddenly got Error 500 from querying task status after first 20 sync tasks completed. Tried to restarted all pulp daemons and still getting 500 errors. Both port 24816 and 24817 are still listening and I am able to query postgres db with psql. How should I troubleshot this issue? Please advise.<div><br></div><div>Thanks</div></div>_______________________________________________<br>Pulp-list mailing list<br><a href="mailto:Pulp-list@redhat.com" target="_blank">Pulp-list@redhat.com</a><br><a href="https://www.redhat.com/mailman/listinfo/pulp-list" target="_blank">https://www.redhat.com/mailman/listinfo/pulp-list</a></blockquote></div></blockquote><br></div></div></div></div></div></div></blockquote></div>