<div dir="ltr">Thanks for the information. I didn't even noticed the Presence Detect Changed bit difference (granted that is mostly due not knowing what to look for and being a little over my head at this point). <div><br></div><div>I wouldn't figure that there would be a difference in using a different card but at this point I'm out of things to try on my end. As for trying a non-NVIDIA card, we don't have any available that I'm aware of so wouldn't be able to test that unfortunately.  </div><div><br></div><div>I'm not very familiar with the PLX technology, and definitely not sure what the manufacturer might have done with this particular board (e.g. if this is a problem with the firmware on the chip, or they introduced a problem with their implementation or, if just the board is bad). (just talking out-loud)</div><div><br></div><div>But no matter, I think at this point I feel I have enough information to go on at this point to give to the manufacturer and that they should be able to diagnose the problem from here. </div><div><br></div><div>I'll report back with what they suggest for a resolution.</div><div><br></div><div>Thanks again for your help, I really appreciate it. I'm not sure if supporting people in this mailing list is part of your daily job, but if it would help you out, send me an email directly with your managers name and I would be more than happy to send them some feedback.</div><div><br></div><div>Thanks again,</div><div><br></div><div>-Kevin</div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Oct 19, 2016 at 12:44 PM, Alex Williamson <span dir="ltr"><<a href="mailto:alex.williamson@redhat.com" target="_blank">alex.williamson@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Wed, 19 Oct 2016 12:16:30 -0500<br>
Kevin Vasko <<a href="mailto:kvasko@gmail.com">kvasko@gmail.com</a>> wrote:<br>
<br>
> Ah, ok. My bad.<br>
><br>
><br>
> Ran<br>
><br>
> #: setpci -s 3:00.0 82.w=8:8<br>
><br>
> SltSta: Status: AttnBtn- PowerFit- MRL- CmdCplt- PresDet+ Interlock-<br>
>             Changed: MRL- PresDet- LinkState-<br>
><br>
> #: setpci -s 3:00.0 78.w=20:20<br>
><br>
> StlSta: Status AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-<br>
>            Changed: MRL- PresDet- LinkState-<br>
><br>
><br>
> When I run lspci -vvs 3:00.0 it is currently in this state<br>
><br>
> StlSta: Status AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-<br>
>            Changed: MRL- PresDet- LinkState-<br>
><br>
> I didn't realize that I was needing to look at "PresDet", sorry. It does<br>
> look like it is different than before so I assume the setpci commands<br>
> changed it somewhere.<br>
><br>
> The device (GPU) is still in the "(rev ff) (prog-if ff)" state.<br>
<br>
</span>Ok, it would have been a long shot, the Presence Detect Changed bit<br>
really should not have been having any effect on re-establishing the<br>
link, it was just a notable difference between the working and<br>
non-working examples.<br>
<span class=""><br>
> Do you think this could be a GPU issue? I have not tried a different GPU in<br>
> the system. Would it be worthwhile trying an NVidia M4000 to see if I get<br>
> the same results or do you think there is a problem with the PLX Riser?<br>
<br>
</span>I can only speculate here, but I wouldn't expect PCIe link<br>
characteristics to be significantly different between consumer and<br>
workstation class cards.  If you have one on hand, it certainly doesn't<br>
hurt to try though.  Perhaps performing the same test with a non-NVIDIA<br>
card installed might be more enlightening, preferably a card with<br>
similar PCIe width and speed, but any sort of data point might be<br>
useful.<br>
<br>
I will note that NVIDIA does make use of PLX PCIe switches on some of<br>
their devices, both the GRID K1 and Tesla M60 (probably others as well)<br>
make use of a PLX PEX 8747 switch to pack multiple GPUs onto a single<br>
card.  So there might be a reasonable expectation of PLX switches<br>
working with NVIDIA devices.  What sort of tuning or special<br>
configuration NVIDIA does on those since the switch is onboard the<br>
card, I have no idea.  Thanks,<br>
<br>
Alex<br>
</blockquote></div><br></div>