<html>
  <head>
    <meta content="text/html; charset=windows-1252"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    <div class="moz-cite-prefix">Hi Cole,<br>
      <br>
      Both the physical host, L1 VM, and L2 VM are CentOS 7.0
      (3.10.0-123.20.1.el7.x86_64).<br>
      <br>
      Thanks,<br>
      Steve Amerige<br>
      <small> Principal Software Developer, Fraud and Compliance
        Solutions Development<br>
        SAS Institute, 100 SAS Campus Dr, Room U3050, Cary, NC
        27513-8617 </small>
      <br>
      <br>
      On 4/2/2015 12:00 PM, Cole Robinson wrote:<br>
    </div>
    <blockquote cite="mid:551D678D.1080300@redhat.com" type="cite">
      <pre wrap="">What distro is your physical host, L1 VM, and L2 VM running?

- Cole

On 04/02/2015 10:33 AM, Steve Amerige wrote:
</pre>
      <blockquote type="cite">
        <pre wrap="">Hi all,

*Problem:* Nested VM images fail/freeze during booting.

*Details:*

*Hardware:*

  * Model: Dell R620
  * CPU: 2 x 6 x 2 (ht) Intel E5-2667
      o flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov
        pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx
        pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl
        xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor
        ds_cpl *vmx *smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2
        x2apic popcnt tsc_deadline_timer aes xsave avx lahf_lm ida arat
        xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid
  * Memory: 192GB
  * Disk: 7.0T local filesystem

*Physical Hypervisor Configuration:*

  * /etc/modprobe.d/kvm-nested.conf (see below)
  * /etc/libvirt/qemu/virtual-hypervisor.xml (see below)
      o Runs without any problems
      o Includes: <cpu ...><feature policy='require' name='vmx'/></cpu>

*Virtual Hypervisor Configuration:*

  * virt-manager opens without any problems
  * The virtual guest within the virtual hypervisor VM fails to boot 
      o I see the screen in which the boot choices are shown.  After the
        selection is made (either by waiting for the selection timeout, or by
        explicit selection), the next screen shows a screen dump (see below)
  * /etc/libvirt/qemu/virtual-guest.xml (see below)
      o Uses virbr0
      o There is no /var/log/libvirt/qemu logfile as the boot up doesn't get
        far enough.

I tried placing the virtual-guest.xml and image on the physical hypervisor and
it does boot up without any problems.

I've scoured the web and can't figure out why boot up is failing for the
nested VM.  Can anyone think of a solution or help out in any way?

Thanks,
Steve Amerige
Principal Software Developer, Fraud and Compliance Solutions Development
SAS Institute, 100 SAS Campus Dr, Room U3050, Cary, NC 27513-8617

*Physical Hypervisor Configuration:*

*/etc/modprobe.d/kvm-nested.conf:*

options kvm_intel nested=1

*/etc/libvirt/qemu/virtual-hypervisor.xml:*

<domain type='kvm'>
  <name>virtual-hypervisor</name>
  <uuid>5bded4c9-e00a-4c33-8d68-f79ef9bf6daa</uuid>
  <memory unit='KiB'>16777216</memory>
  <currentMemory unit='KiB'>33554432</currentMemory>
  <vcpu placement='static'>4</vcpu>
  <os>
    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
    <boot dev='hd'/>
  </os>
  <features>
    <acpi/>
    <apic/>
    <pae/>
  </features>
  <cpu mode='custom' match='exact'>
    <model fallback='allow'>SandyBridge</model>
    <vendor>Intel</vendor>
    <feature policy='require' name='vmx'/>
  </cpu>
  <clock offset='utc'/>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>restart</on_crash>
  <devices>
    <emulator>/usr/libexec/qemu-kvm</emulator>
    <disk type='file' device='disk'>
      <driver name='qemu' type='qcow2' cache='none'/>
      <source file='/var/lib/libvirt/images/virtual-hypervisor.qcow2'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
    </disk>
    <disk type='block' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <target dev='hdc' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='1' target='0' unit='0'/>
    </disk>
    <controller type='usb' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/>
    </controller>
    <controller type='pci' index='0' model='pci-root'/>
    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
    </controller>
    <interface type='bridge'>
      <mac address='52:54:00:7a:40:a6'/>
      <source bridge='br0'/>
      <model type='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
    </interface>
    <serial type='pty'>
      <target port='0'/>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
    </console>
    <input type='tablet' bus='usb'/>
    <input type='mouse' bus='ps2'/>
    <graphics type='vnc' port='-1' autoport='yes'/>
    <sound model='ich6'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </sound>
    <video>
      <model type='cirrus' vram='9216' heads='1'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </video>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
    </memballoon>
  </devices>
</domain>

*Virtual Guest Configuration:*

<domain type='kvm'>
  <name>virtual-guest.xml</name>
<uuid>863ffbe3-1d4e-4ca6-b86f-bb13e32fed6b</uuid>
  <memory unit='KiB'>2097152</memory>
  <currentMemory unit='KiB'>2097152</currentMemory>
  <vcpu placement='static'>1</vcpu>
  <os>
    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
    <boot dev='hd'/>
  </os>
  <features>
    <acpi/>
    <apic/>
    <pae/>
  </features>
  <clock offset='utc'/>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>restart</on_crash>
  <devices>
    <emulator>/usr/libexec/qemu-kvm</emulator>
    <disk type='file' device='disk'>
      <driver name='qemu' type='qcow2' cache='none'/>
      <source file='/var/lib/libvirt/images/virtual-guest.xml.img'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
    </disk>
    <disk type='block' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <target dev='hdc' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='1' target='0' unit='0'/>
    </disk>
    <controller type='usb' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x2'/>
    </controller>
    <controller type='pci' index='0' model='pci-root'/>
    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
    </controller>
    <interface type='bridge'>
    <mac address='52:54:00:0f:a8:81'/>
      <source bridge='virbr0'/>
      <model type='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
    </interface>
    <serial type='pty'>
      <target port='0'/>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
    </console>
    <input type='tablet' bus='usb'/>
    <input type='mouse' bus='ps2'/>
    <graphics type='vnc' port='-1' autoport='yes'/>
    <sound model='ich6'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </sound>
    <video>
      <model type='cirrus' vram='9216' heads='1'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </video>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
    </memballoon>
  </devices>
</domain>

*virt-manager display of Virtual Machine showing failure:


*


_______________________________________________
virt-tools-list mailing list
<a class="moz-txt-link-abbreviated" href="mailto:virt-tools-list@redhat.com">virt-tools-list@redhat.com</a>
<a class="moz-txt-link-freetext" href="https://www.redhat.com/mailman/listinfo/virt-tools-list">https://www.redhat.com/mailman/listinfo/virt-tools-list</a>

</pre>
      </blockquote>
      <pre wrap="">


</pre>
    </blockquote>
    <br>
  </body>
</html>