<div dir="ltr">Hi Brian, thanks for the reply.  Sadly the logs don't show much:  <a href="https://paste.fedoraproject.org/paste/0T5YEdTquIWW2Avhy~J6NQ">https://paste.fedoraproject.org/paste/0T5YEdTquIWW2Avhy~J6NQ</a><div><br></div><div>I did get the idea since sending this email this morning to use curl to investigate the problem.  The results make me think that there is an upstream problem with <a href="http://cdn.redhat.com">cdn.redhat.com</a> (or suddenly my entitlements work for some things but not others) - check this out:</div><div><br></div><div>GOOD CDN:  <a href="https://paste.fedoraproject.org/paste/YJaOryGkExSfgNr9WPF9kg">https://paste.fedoraproject.org/paste/YJaOryGkExSfgNr9WPF9kg</a></div><div><br></div><div>BAD CDN:  <a href="https://paste.fedoraproject.org/paste/AhZtnKONgqdVgJxlAVKwCw">https://paste.fedoraproject.org/paste/AhZtnKONgqdVgJxlAVKwCw</a></div><div><br></div><div>The 'X-Cache' tag contents seem intriguing but I'm certainly no CDN / Akamai guy and don't know what I'm talking about so....</div><div><br></div><div>Maybe the @Redhat folks in the room know someone on the CDN side of things?  </div><div><br></div><div>Potentially "broken" repos are:</div><div><div>  <a href="https://cdn.redhat.com/content/beta/rhel/server/7/x86_64/rhscl/1/os">https://cdn.redhat.com/content/beta/rhel/server/7/x86_64/rhscl/1/os</a></div><div>  <a href="https://cdn.redhat.com/content/beta/rhel/workstation/7/x86_64/rhscl/1/os">https://cdn.redhat.com/content/beta/rhel/workstation/7/x86_64/rhscl/1/os</a></div><div>  <a href="https://cdn.redhat.com/content/els/rhel/server/5/5Server/x86_64/os">https://cdn.redhat.com/content/els/rhel/server/5/5Server/x86_64/os</a></div><div>  <a href="https://cdn.redhat.com/content/els/rhel/server/5/5Server/i386/os">https://cdn.redhat.com/content/els/rhel/server/5/5Server/i386/os</a></div><div><br></div><div>In the mean time now that I have a proven way to interrogate via curl whether or not my client certs are returning content to pulp, I'm going to go ahead and re-generate a new entitlement certificate bundle since all 4 repos are special repo types (beta, ELS).  I do know that at least the ELS repos use different PEM files for access since I get an els.pem file in the bundle.  </div><div><br></div><div>Thanks!</div></div><div> - Kodiak</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Apr 2, 2018 at 2:03 PM, Brian Bouterse <span dir="ltr"><<a href="mailto:bbouters@redhat.com" target="_blank">bbouters@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Did the log show anything? I think if the task has a fatal exception it logs it.<br><br>If you don't see any errors, maybe patch the code to add some log statements? Maybe someone could link to the area where a 403 error would be handled?<br></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Mon, Apr 2, 2018 at 11:04 AM, Kodiak Firesmith <span dir="ltr"><<a href="mailto:kfiresmith@gmail.com" target="_blank">kfiresmith@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr">Hi Pulp People,<div>I suspect Red Hat is having some limited trouble with their CDN lately as 2 Red Hat CDN repos started throwing forbiddens last week, and 2 additional repos started throwing forbiddens over the weekend for a total of 4 out of perhaps about 80 Red Hat CDN repos currently showing forbidden during sync.</div><div><br></div><div>The biggest problem is that it happens later into the sync and even with TCPDump running it all happens within a TLS v1.2 tunnel so I can't see what the remote origin of the 403 is.  Pulp is currently "too helpful" in that it completely obfuscates paths and response codes, even during '-vvv' runs.  </div><div><br></div><div>Here's an example:</div><div><br></div><div> <a href="https://cdn.redhat.com/content/beta/rhel/server/7/x86_64/rhscl/1/os" target="_blank">https://cdn.redhat.com/conten<wbr>t/beta/rhel/server/7/x86_64/<wbr>rhscl/1/os</a><br></div><div><br></div><div><div>$pulp-admin  rpm repo sync run --repo-id=rhel-server-rhscl-7-<wbr>beta-rpms</div><div>+-----------------------------<wbr>------------------------------<wbr>-----------+</div><div>        Synchronizing Repository [rhel-server-rhscl-7-beta-rpms<wbr>]</div><div>+-----------------------------<wbr>------------------------------<wbr>-----------+</div><div><br></div><div>This command may be exited via ctrl+c without affecting the request.</div><div><br></div><div><br></div><div>Downloading metadata...</div><div>[\]</div><div>... completed</div><div><br></div><div>Downloading repository content...</div><div>[-]</div><div>[=============================<wbr>=====================] 100%</div><div>RPMs:       0/0 items</div><div>Delta RPMs: 0/0 items</div><div><br></div><div>... completed</div><div><br></div><div>Downloading distribution files...</div><div>[=============================<wbr>=====================] 100%</div><div>Distributions: 0/0 items</div><div><br></div><div>Task Failed</div><div><br></div><div>Error retrieving metadata: Forbidden</div></div><div><br></div><div><br></div><div>If anyone has any advice, that would be rad.  Thanks all!</div><span class="m_-5267212285497438858HOEnZb"><font color="#888888"><div><br></div><div> - Kodiak</div></font></span></div>
<br></div></div>______________________________<wbr>_________________<br>
Pulp-list mailing list<br>
<a href="mailto:Pulp-list@redhat.com" target="_blank">Pulp-list@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/pulp-list" rel="noreferrer" target="_blank">https://www.redhat.com/mailman<wbr>/listinfo/pulp-list</a><br></blockquote></div><br></div>
</blockquote></div><br></div>