<div dir="ltr"><div>Hi,</div><div><br></div><div>In the following list of iommu groups, I am wondering why sub-functions on the same PCIe card are not being given the same IOMMU group as I would expect.</div><div><br></div><div>For example, I would have expected the GPU and the HMDI Audio for that GPU to be in the same IOMMU group.</div><div><br></div><div>I am asking, because, with the current IOMMU groups, a vfio bus reset fails.<br></div><div><br></div><div>Any clues?</div><div><br></div><div><br><br>[    0.502902] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported<br>[    0.502956] pci 0000:40:00.2: AMD-Vi: IOMMU performance counters supported<br>[    0.503748] pci 0000:00:01.0: Adding to iommu group 0<br>[    0.504124] pci 0000:00:01.1: Adding to iommu group 1<br>[    0.504531] pci 0000:00:01.2: Adding to iommu group 2<br>[    0.504942] pci 0000:00:02.0: Adding to iommu group 3<br>[    0.505336] pci 0000:00:03.0: Adding to iommu group 4<br>[    0.505741] pci 0000:00:03.1: Adding to iommu group 5<br>[    0.506118] pci 0000:00:04.0: Adding to iommu group 6<br>[    0.506506] pci 0000:00:07.0: Adding to iommu group 7<br>[    0.506877] pci 0000:00:07.1: Adding to iommu group 8<br>[    0.507294] pci 0000:00:08.0: Adding to iommu group 9<br>[    0.507644] pci 0000:00:08.1: Adding to iommu group 10<br>[    0.508079] pci 0000:00:14.0: Adding to iommu group 11<br>[    0.508096] pci 0000:00:14.3: Adding to iommu group 11<br>[    0.508500] pci 0000:00:18.0: Adding to iommu group 12<br>[    0.508515] pci 0000:00:18.1: Adding to iommu group 12<br>[    0.508529] pci 0000:00:18.2: Adding to iommu group 12<br>[    0.508547] pci 0000:00:18.3: Adding to iommu group 12<br>[    0.508562] pci 0000:00:18.4: Adding to iommu group 12<br>[    0.508576] pci 0000:00:18.5: Adding to iommu group 12<br>[    0.508591] pci 0000:00:18.6: Adding to iommu group 12<br>[    0.508605] pci 0000:00:18.7: Adding to iommu group 12<br>[    0.509054] pci 0000:00:19.0: Adding to iommu group 13<br>[    0.509070] pci 0000:00:19.1: Adding to iommu group 13<br>[    0.509086] pci 0000:00:19.2: Adding to iommu group 13<br>[    0.509103] pci 0000:00:19.3: Adding to iommu group 13<br>[    0.509118] pci 0000:00:19.4: Adding to iommu group 13<br>[    0.509133] pci 0000:00:19.5: Adding to iommu group 13<br>[    0.509149] pci 0000:00:19.6: Adding to iommu group 13 <br>[    0.509164] pci 0000:00:19.7: Adding to iommu group 13 <br>[    0.509574] pci 0000:01:00.0: Adding to iommu group 14<br>[    0.509598] pci 0000:01:00.1: Adding to iommu group 14<br>[    0.509620] pci 0000:01:00.2: Adding to iommu group 14 <br>[    0.509631] pci 0000:02:00.0: Adding to iommu group 14<br>[    0.509642] pci 0000:02:01.0: Adding to iommu group 14<br>[    0.509653] pci 0000:02:02.0: Adding to iommu group 14<br>[    0.509664] pci 0000:02:03.0: Adding to iommu group 14<br>[    0.509675] pci 0000:02:04.0: Adding to iommu group 14<br>[    0.509687] pci 0000:02:09.0: Adding to iommu group 14<br>[    0.509708] pci 0000:03:00.0: Adding to iommu group 14<br>[    0.509725] pci 0000:05:00.0: Adding to iommu group 14<br>[    0.509740] pci 0000:08:00.0: Adding to iommu group 14<br>[    0.510109] pci 0000:09:00.0: Adding to iommu group 15<br>[    0.510443] pci 0000:0a:00.0: Adding to iommu group 16<br>[    0.510817] pci 0000:0b:00.0: Adding to iommu group 17<br>[    0.511251] pci 0000:0c:00.0: Adding to iommu group 18<br>[    0.511406] pci 0000:0c:00.0: Using iommu direct mapping<br>[    0.511547] pci 0000:0c:00.1: Adding to iommu group 19<br>[    0.511902] pci 0000:0d:00.0: Adding to iommu group 20<br>[    0.512234] pci 0000:0d:00.2: Adding to iommu group 21<br>[    0.512605] pci 0000:0d:00.3: Adding to iommu group 22<br>[    0.512945] pci 0000:0e:00.0: Adding to iommu group 23<br>[    0.513323] pci 0000:0e:00.2: Adding to iommu group 24<br>[    0.513660] pci 0000:0e:00.3: Adding to iommu group 25<br>[    0.514033] pci 0000:40:01.0: Adding to iommu group 26<br>[    0.514407] pci 0000:40:02.0: Adding to iommu group 27<br>[    0.514742] pci 0000:40:03.0: Adding to iommu group 28<br>[    0.515121] pci 0000:40:03.1: Adding to iommu group 29<br>[    0.515454] pci 0000:40:04.0: Adding to iommu group 30<br>[    0.515867] pci 0000:40:07.0: Adding to iommu group 31<br>[    0.516233] pci 0000:40:07.1: Adding to iommu group 32<br>[    0.516575] pci 0000:40:08.0: Adding to iommu group 33<br>[    0.516954] pci 0000:40:08.1: Adding to iommu group 34<br>[    0.517292] pci 0000:41:00.0: Adding to iommu group 35<br>[    0.517668] pci 0000:42:00.0: Adding to iommu group 36<br>[    0.518050] pci 0000:43:00.0: Adding to iommu group 37<br>[    0.518129] pci 0000:43:00.0: Using iommu direct mapping<br>[    0.518298] pci 0000:43:00.1: Adding to iommu group 38<br>[    0.518629] pci 0000:44:00.0: Adding to iommu group 39<br>[    0.518970] pci 0000:44:00.2: Adding to iommu group 40<br>[    0.519348] pci 0000:44:00.3: Adding to iommu group 41<br>[    0.519686] pci 0000:45:00.0: Adding to iommu group 42<br>[    0.520072] pci 0000:45:00.2: Adding to iommu group 43<br>[    0.520306] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40<br>[    0.520307] pci 0000:00:00.2: AMD-Vi: Extended features (0xf77ef22294ada):<br>[    0.520308]  PPR NX GT IA GA PC GA_vAPIC<br>[    0.520310] pci 0000:40:00.2: AMD-Vi: Found IOMMU cap 0x40<br>[    0.520311] pci 0000:40:00.2: AMD-Vi: Extended features (0xf77ef22294ada):<br>[    0.520311]  PPR NX GT IA GA PC GA_vAPIC<br>[    0.520312] AMD-Vi: Interrupt remapping enabled<br>[    0.520312] AMD-Vi: Virtual APIC enabled<br>[    0.520498] AMD-Vi: Lazy IO/TLB flushing enabled<br>[    0.521585] amd_uncore: AMD NB counters detected<br>[    0.521594] amd_uncore: AMD LLC counters detected<br>[    0.522255] perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).<br>[    0.522265] perf/amd_iommu: Detected AMD IOMMU #1 (2 banks, 4 counters/bank).</div><div><br></div><div><br></div><div><br></div></div>