<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <meta name="Generator" content="Microsoft Word 15 (filtered medium)"> <style></style> </head> <body lang="EN-US" link="#0563C1" vlink="#954F72"> <div class="WordSection1"> List,<o:p></o:p> <o:p> </o:p> I have a number of Windows 2016 servers I am deploying, but I’m having some I/O performance issues. I have done all of the obvious things like virtio drivers, but am finding there is more performance to be found with hyper-v extensions, how we virtualize the hardware clock, and iothreads. I’m using ZVOLs to back the VM, and I’m using 4k block sizes, which seems to offer the best 4k random read/write performance (mail and database workloads), but maybe I’m missing something at this layer too.<o:p></o:p> <o:p> </o:p> Questions:<o:p></o:p> <o:p> </o:p> <ol style="margin-top:0in" start="1" type="1"> <li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo3">Does my VM config look reasonable for the latest releases of windows? Are there features I should be using that will help performance?<o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo3">Why does the hypervclock timer make so much performance difference in windows VMs?<o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo3">Does my virtualized CPU model make sense? I defined Haswell-noTSX-IBRS and libvirt added the features.<o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo3">Which kernel branch offers the best stability and performance?<o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo3">Are there performance gains in using UEFI booting the windows guest and defining “<blockio logical_block_size='4096' physical_block_size='4096'/>”? Perhaps better block size consistency through to the zvol?<o:p></o:p></li></ol> <o:p> </o:p> <o:p> </o:p> Here is my setup:<o:p></o:p> <o:p> </o:p> 48 core Haswell CPU<o:p></o:p> 192G Ram<o:p></o:p> Linux 4.14.61 or 4.9.114 (testing both)<o:p></o:p> ZFS file system on optane SSD drive or ZFS file system on dumb HBA with 8 spindles of 15k disks (testing both)<o:p></o:p> 4k block size zvol for virtual machines<o:p></o:p> 32G arc cache<o:p></o:p> <o:p> </o:p> Here is my VM:<o:p></o:p> <o:p> </o:p> <domain type='kvm' id='12'><o:p></o:p> <name>testvm</name><o:p></o:p> <memory unit='KiB'>33554432</memory><o:p></o:p> <currentMemory unit='KiB'>33554432</currentMemory><o:p></o:p> <vcpu placement='static'>12</vcpu><o:p></o:p> <iothreads>1</iothreads><o:p></o:p> <os><o:p></o:p> <type arch='x86_64' machine='pc-i440fx-2.12'>hvm</type><o:p></o:p> <boot dev='cdrom'/><o:p></o:p> <boot dev='hd'/><o:p></o:p> </os><o:p></o:p> <features><o:p></o:p> <acpi/><o:p></o:p> <hyperv><o:p></o:p> <relaxed state='on'/><o:p></o:p> <vapic state='on'/><o:p></o:p> <spinlocks state='on' retries='8191'/><o:p></o:p> <vpindex state='on'/><o:p></o:p> <runtime state='on'/><o:p></o:p> <synic state='on'/><o:p></o:p> <reset state='on'/><o:p></o:p> <vendor_id state='on' value='KVM Hv'/><o:p></o:p> </hyperv><o:p></o:p> </features><o:p></o:p> <cpu mode='custom' match='exact' check='full'><o:p></o:p> <model fallback='forbid'>Haswell-noTSX-IBRS</model><o:p></o:p> <topology sockets='1' cores='6' threads='2'/><o:p></o:p> <feature policy='require' name='vme'/><o:p></o:p> <feature policy='require' name='f16c'/><o:p></o:p> <feature policy='require' name='rdrand'/><o:p></o:p> <feature policy='require' name='hypervisor'/><o:p></o:p> <feature policy='require' name='arat'/><o:p></o:p> <feature policy='disable' name='spec-ctrl'/><o:p></o:p> <feature policy='require' name='xsaveopt'/><o:p></o:p> <feature policy='require' name='abm'/><o:p></o:p> </cpu><o:p></o:p> <clock offset='localtime'><o:p></o:p> <timer name='rtc' tickpolicy='catchup'/><o:p></o:p> <timer name='pit' tickpolicy='delay'/><o:p></o:p> <timer name='hpet' present='yes'/><o:p></o:p> <timer name='hypervclock' present='yes'/><o:p></o:p> </clock><o:p></o:p> <on_poweroff>destroy</on_poweroff><o:p></o:p> <on_reboot>restart</on_reboot><o:p></o:p> <on_crash>destroy</on_crash><o:p></o:p> <devices><o:p></o:p> <emulator>/usr/bin/qemu-system-x86_64</emulator><o:p></o:p> <disk type='block' device='disk'><o:p></o:p> <driver name='qemu' type='raw' cache='none' io='native' ioeventfd='on' iothread='1'/><o:p></o:p> <source dev='/dev/zvol/datastore/vm/testvm-vda'/><o:p></o:p> <backingStore/><o:p></o:p> <target dev='vda' bus='virtio'/><o:p></o:p> <alias name='virtio-disk0'/><o:p></o:p> <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/><o:p></o:p> </disk><o:p></o:p> <disk type='file' device='cdrom'><o:p></o:p> <driver name='qemu'/><o:p></o:p> <target dev='hdc' bus='ide'/><o:p></o:p> <readonly/><o:p></o:p> <alias name='ide0-1-0'/><o:p></o:p> <address type='drive' controller='0' bus='1' target='0' unit='0'/><o:p></o:p> </disk><o:p></o:p> <controller type='ide' index='0'><o:p></o:p> <alias name='ide'/><o:p></o:p> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/><o:p></o:p> </controller><o:p></o:p> <controller type='usb' index='0' model='piix3-uhci'><o:p></o:p> <alias name='usb'/><o:p></o:p> <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/><o:p></o:p> </controller><o:p></o:p> <controller type='pci' index='0' model='pci-root'><o:p></o:p> <alias name='pci.0'/><o:p></o:p> </controller><o:p></o:p> <controller type='virtio-serial' index='0'><o:p></o:p> <alias name='virtio-serial0'/><o:p></o:p> <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/><o:p></o:p> </controller><o:p></o:p> <interface type='bridge'><o:p></o:p> <source bridge='lan'/><o:p></o:p> <target dev='vnet0'/><o:p></o:p> <model type='virtio'/><o:p></o:p> <alias name='net0'/><o:p></o:p> <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/><o:p></o:p> </interface><o:p></o:p> <channel type='unix'><o:p></o:p> <source mode='bind' path='/var/lib/libvirt/qemu/channel/target/domain-12-testvm/org.qemu.guest_agent.0'/><o:p></o:p> <target type='virtio' name='org.qemu.guest_agent.0' state='connected'/><o:p></o:p> <alias name='channel0'/><o:p></o:p> <address type='virtio-serial' controller='0' bus='0' port='1'/><o:p></o:p> </channel><o:p></o:p> <input type='tablet' bus='usb'><o:p></o:p> <alias name='input0'/><o:p></o:p> <address type='usb' bus='0' port='1'/><o:p></o:p> </input><o:p></o:p> <input type='mouse' bus='ps2'><o:p></o:p> <alias name='input1'/><o:p></o:p> </input><o:p></o:p> <input type='keyboard' bus='ps2'><o:p></o:p> <alias name='input2'/><o:p></o:p> </input><o:p></o:p> <graphics type='vnc' port='5901' autoport='no' listen='0.0.0.0'><o:p></o:p> <listen type='address' address='0.0.0.0'/><o:p></o:p> </graphics><o:p></o:p> <video><o:p></o:p> <model type='cirrus' vram='16384' heads='1' primary='yes'/><o:p></o:p> <alias name='video0'/><o:p></o:p> <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/><o:p></o:p> </video><o:p></o:p> <memballoon model='none'/><o:p></o:p> </devices><o:p></o:p> <seclabel type='dynamic' model='dac' relabel='yes'><o:p></o:p> <label>+0:+100</label><o:p></o:p> <imagelabel>+0:+100</imagelabel><o:p></o:p> </seclabel><o:p></o:p> </domain><o:p></o:p> </div> </body> </html>