<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Sep 28, 2016 at 1:58 PM, Martin Schrodt <span dir="ltr"><<a href="mailto:martin@schrodt.org" target="_blank">martin@schrodt.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 09/28/2016 09:40 PM, Alex Williamson wrote:<br></span><span class="">>     3) The first and the second PCIe-slot are in the same IOMMU-group,<br>
>     preventing me to use a second GPU for the host in slot 2 without<br>
>     ACS-override. (*1)<br>
><br>
> Of course, you need a certain class of processors to have ACS, Z170<br>
> doesn't support any of those processors.  See<br>
> <a href="http://vfio.blogspot.com/2015/10/intel-processors-with-acs-support.html" rel="noreferrer" target="_blank">http://vfio.blogspot.com/2015/<wbr>10/intel-processors-with-acs-<wbr>support.html</a><br>
>  You need an X99 motherboard for that.<br>
<br>
</span>Oh, thanks for the hint, I did not know this before. I did not want to<br>
ACS-override anyway, and thought there would be mainboard layouts that<br>
would separate those 2 slots even on Z170. Is this not the case?<br></blockquote><div><br></div><div>This is not the case.  The processor does not support ACS itself and there is no configuration of processor root ports or downstream switches that can fix that.  On the consumer grade hardware only the PCH-based root ports can be configured for isolation.  Those will often still give you one or more x16 slots that can host a graphics card, but it is a longer path to memory and the CPU.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">
>     5) The VM is dead after I suspend/resume the host.<br>
><br>
> Hmm, if you're thinking a VM with assigned devices should survive a host<br>
> suspend/resume, I'm not sure that's a reasonable expectation right now.<br>
<br>
</span>Yea, I suspected as such. But I found this guy on github<br>
<br>
<a href="https://github.com/qdel/scripts/tree/master/vfio/systemd" rel="noreferrer" target="_blank">https://github.com/qdel/<wbr>scripts/tree/master/vfio/<wbr>systemd</a><br>
<br>
who claims he can do it by using systemd-hooks to suspend / resume the<br>
VM before going to sleep / after waking up.<br>
<br>
His scripts simply issue a<br>
<br>
virsh dompmsuspend --domain win10 --target mem<br>
<br>
and a<br>
<br>
sudo virsh dompmwakeup win10<br>
<br>
If I try to replicate this, it'll go to sleep but not wake up on the<br>
second command. Maybe that's also because of the passed through ASMedia<br>
Device, I didn't test yet.<br></blockquote><div><br></div><div>Ok, that's a start, but I don't even have a lot of confidence in suspending and resuming the VM with a device assigned.</div></div></div></div>