<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:SimSun;
panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
{font-family:SimSun;
panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:#954F72;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:72.0pt 90.0pt 72.0pt 90.0pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-family:Consolas">Hi, <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">I start a virtual machine with commandline:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> /usr/libexec/qemu-kvm --enable-kvm -smp 8 -m 8192 -device vfio-pci,host=0000:81:00.0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">Then I pause the qemu process before executing the main_loop function by gdb.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">At this moment, lspci shows the regions are disabled like below:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> 81:00.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe 16GB] (rev a1)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Subsystem: NVIDIA Corporation Device 118f<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Physical Slot: 0-6<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Control: <i>I/O- Mem- BusMaster-</i> SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Interrupt: pin A routed to IRQ 35<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> NUMA node: 1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> <i>Region 0: Memory at c8000000 (32-bit, non-prefetchable) [disabled] [size=16M]<o:p></o:p></i></span></p>
<p class="MsoNormal"><i><span style="font-family:Consolas"> Region 1: Memory at 27800000000 (64-bit, prefetchable) [disabled] [size=16G]<o:p></o:p></span></i></p>
<p class="MsoNormal"><i><span style="font-family:Consolas"> Region 3: Memory at 27c00000000 (64-bit, prefetchable) [disabled] [size=32M]<o:p></o:p></span></i></p>
<p class="MsoNormal"><i><span style="font-family:Consolas"><o:p> </o:p></span></i></p>
<p class="MsoNormal"><span style="font-family:Consolas">But after the command:<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas">echo 1 > /sys/bus/pci/devices/0000:81:00.0/reset<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">lspci shows the regions are
<i>*<b>not</b>*</i> disabled:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> 81:00.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe 16GB] (rev a1)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Subsystem: Huawei Technologies Co., Ltd. Device 2061<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Physical Slot: 0-6<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Control: <i>I/O+ Mem+ BusMaster+</i> SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR+ FastB2B- DisINTx-<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Latency: 0, Cache Line Size: 32 bytes<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Interrupt: pin A routed to IRQ 7<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> NUMA node: 1<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> <i>Region 0: Memory at c8000000 (32-bit, non-prefetchable) [size=16M]<o:p></o:p></i></span></p>
<p class="MsoNormal"><i><span style="font-family:Consolas"> Region 1: Memory at 27800000000 (64-bit, prefetchable) [size=16G]<o:p></o:p></span></i></p>
<p class="MsoNormal"><i><span style="font-family:Consolas"> Region 3: Memory at 27c00000000 (64-bit, prefetchable) [size=32M]<o:p></o:p></span></i></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">AFAIK, qemu performs vfio_pci_reset like the below callstack:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> Qemu:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> vfio_pci_reset<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> ioctl(vdev->vbasedev.fd, VFIO_DEVICE_RESET)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas">Kernel:<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas"> vfio_pci_ioctl<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas"> pci_try_reset_function<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas"> __pci_reset_function_locked<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> pci_parent_bus_reset<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> pci_reset_bridge_secondary_bus<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">and write 1 to the reset interface of sysfs go through the path:<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas">Kernel:<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas"> reset_store<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas"> pci_reset_function<o:p></o:p></span></p>
<p class="MsoNormal" style="text-indent:24.0pt"><span style="font-family:Consolas"> __pci_reset_function_locked<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> pci_parent_bus_reset<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"> pci_reset_bridge_secondary_bus<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">So seem that these two methods are same actually, I am confused why the results are inconsistent.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">Thanks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas">Zongyong Wu<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:Consolas"><o:p> </o:p></span></p>
</div>
</body>
</html>