<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <meta name="Generator" content="Microsoft Word 15 (filtered medium)"> <style></style> </head> <body lang="EN-US" link="blue" vlink="purple"> <div class="WordSection1"> <p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Sounds like issues in the environment,<o:p></o:p></span></p> <p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">The PF (Physical function (external port)) connected to some switch, if so as Trunk?<o:p></o:p></span></p> <p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p> <p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> rdo-list-bounces@redhat.com [mailto:rdo-list-bounces@redhat.com] <b>On Behalf Of </b>Joe Talerico<br> <b>Sent:</b> Wednesday, August 26, 2015 16:26<br> <b>To:</b> Pedro Sousa<br> <b>Cc:</b> rdo-list@redhat.com<br> <b>Subject:</b> Re: [Rdo-list] SR-IOV on openstack: no valid host is found<o:p></o:p></span></p> <p class="MsoNormal"><o:p> </o:p></p> <div> <p class="MsoNormal"><o:p> </o:p></p> <div> <p class="MsoNormal"><o:p> </o:p></p> <div> <p class="MsoNormal">On Wed, Aug 26, 2015 at 6:54 AM, Pedro Sousa <<a href="mailto:pgsousa@gmail.com" target="_blank">pgsousa@gmail.com</a>> wrote:<o:p></o:p></p> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <div> <p class="MsoNormal">Hi,<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Some update on this, although I can launch the VM and see the VF inside it, I have 2 problems<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">1º Sometimes I don't get ip from dhcp when I launch a new instance.<o:p></o:p></p> </div> </div> </blockquote> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Does the VF have the right VLAN tag?<o:p></o:p></p> </div> <div> <p class="MsoNormal"> <o:p></o:p></p> </div> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">2º I cannot ping the other hosts inside the tenant network using sr-iov nics. If I use ovs nics it works. <o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> </blockquote> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Are VLANs setup properly?<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Joe<o:p></o:p></p> </div> <div> <p class="MsoNormal"> <o:p></o:p></p> </div> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <div> <p class="MsoNormal">Anyone has experienced this issues?<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Thanks,<o:p></o:p></p> </div> <div> <p class="MsoNormal">Pedro Sousa<o:p></o:p></p> </div> <div> <div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <p class="MsoNormal"><o:p> </o:p></p> <div> <p class="MsoNormal"><o:p> </o:p></p> <div> <p class="MsoNormal">On Tue, Aug 25, 2015 at 12:02 PM, Pedro Sousa <<a href="mailto:pgsousa@gmail.com" target="_blank">pgsousa@gmail.com</a>> wrote:<o:p></o:p></p> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <p class="MsoNormal">Hi, <o:p></o:p></p> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Anyone interested, I got it working using this procedure:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><a href="http://docs-draft.openstack.org/85/213985/10/check/gate-openstack-manuals-tox-doc-publish-checkbuild/1381a5e/publish-docs/networking-guide/adv_config_sriov.html" target="_blank">http://docs-draft.openstack.org/85/213985/10/check/gate-openstack-manuals-tox-doc-publish-checkbuild/1381a5e//publish-docs/networking-guide/adv_config_sriov.html</a><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">I'm using <b>RDO/Juno Centos 7.1</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">My conf:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>Controller/Network Node:</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf.ini</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">type_drivers = vlan<o:p></o:p></p> </div> <div> <p class="MsoNormal">tenant_network_types = vlan<o:p></o:p></p> </div> <div> <p class="MsoNormal">mechanism_drivers =openvswitch,sriovnicswitch<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <div> <p class="MsoNormal">[ml2_type_vlan]<o:p></o:p></p> </div> <div> <p class="MsoNormal">network_vlan_ranges =int-vlan:1440:1449<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <div> <p class="MsoNormal">[securitygroup]<o:p></o:p></p> </div> <div> <p class="MsoNormal">enable_security_group = True<o:p></o:p></p> </div> <div> <p class="MsoNormal">firewall_driver = neutron.agent.firewall.NoopFirewallDriver<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf_sriov.ini</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <div> <p class="MsoNormal">[ml2_sriov]<o:p></o:p></p> </div> <div> <p class="MsoNormal">supported_pci_vendor_devs = 14e4:16af<o:p></o:p></p> </div> <div> <p class="MsoNormal">agent_required = True<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <div> <p class="MsoNormal">[sriov_nic]<o:p></o:p></p> </div> <div> <p class="MsoNormal">physical_device_mappings = int-vlan:p2p1<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/etc/nova/nova.conf</b><o:p></o:p></p> </div> <div> <p class="MsoNormal">[Default]<o:p></o:p></p> </div> <div> <div> <p class="MsoNormal">scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,ServerGroupAntiAffinityFilter,ServerGroupAffinityFilter,PciPassthroughFilter<o:p></o:p></p> </div> <div> <p class="MsoNormal">scheduler_available_filters = nova.scheduler.filters.all_filters<o:p></o:p></p> </div> <div> <p class="MsoNormal">scheduler_available_filters = nova.scheduler.filters.pci_passthrough_filter.PciPassthroughFilter<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/usr/lib/systemd/system/neutron-server.service</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">ExecStart=/usr/bin/neutron-server --config-file /usr/share/neutron/neutron-dist.conf --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugin.ini --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini --log-file /var/log/neutron/server.log<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>Compute Node:</b><o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">I had to install ml2 plugin and sr-iov agent. Note, in the compute node using rdo packstack the ml2 plugin is not installed by default.<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"># yum install openstack-neutron-ml2 openstack-neutron-sriov-nic-agent<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf.ini</b><o:p></o:p></p> </div> <div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">[securitygroup]<o:p></o:p></p> </div> <div> <p class="MsoNormal"># Controls if neutron security group is enabled or not.<o:p></o:p></p> </div> <div> <p class="MsoNormal"># It should be false when you use nova security group.<o:p></o:p></p> </div> <div> <p class="MsoNormal"># enable_security_group = True<o:p></o:p></p> </div> <div> <p class="MsoNormal">enable_security_group = True<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal">firewall_driver = neutron.agent.firewall.NoopFirewallDriver<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/etc/neutron/plugins/ml2/ml2_conf_sriov.ini</b><o:p></o:p></p> </div> <div> <div> <p class="MsoNormal">[securitygroup]<o:p></o:p></p> </div> <div> <p class="MsoNormal">firewall_driver = neutron.agent.firewall.NoopFirewallDriver<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">[sriov_nic]<o:p></o:p></p> </div> <div> <p class="MsoNormal">physical_device_mappings = int-vlan:p2p1<o:p></o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><b>/usr/lib/systemd/system/neutron-sriov-nic-agent.service</b><o:p></o:p></p> </div> <div> <p class="MsoNormal">ExecStart=/usr/bin/neutron-sriov-nic-agent --config-file /usr/share/neutron/neutron-dist.conf --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini --log-file /var/log/neutron/sriov-nic-agent.log<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Regards,<o:p></o:p></p> </div> <div> <p class="MsoNormal">Pedro Sousa<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> <div> <div> <div> <p class="MsoNormal">On Tue, Aug 25, 2015 at 11:04 AM, Joe Talerico <<a href="mailto:jtaleric@redhat.com" target="_blank">jtaleric@redhat.com</a>> wrote:<o:p></o:p></p> </div> </div> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <div> <p class="MsoNormal"><br> <br> On Monday, August 17, 2015, <span lang="HE" dir="RTL">שחם פרידנברג</span><span dir="LTR"></span><span dir="LTR"></span> <<a href="mailto:shahamf@gmail.com" target="_blank">shahamf@gmail.com</a>> wrote:<o:p></o:p></p> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <div> <p class="MsoNormal">Hey all,<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">I deployed openstack on DELL PowerEdge R620 installed with Centos 7.<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">SR-IOV is enabled in BIOS (both Virtualization Technology & SR-IOV).<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Also, I added the needed kernel parameters and created virtual functions on 82599 Intel 10G NIC.<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">in nova.conf:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">1. pci_passthrough_whitelist={"devname":"p2p1","physical_network":"sriovnet"}<o:p></o:p></p> </div> <div> <p class="MsoNormal">2. scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,<o:p></o:p></p> </div> <div> <p class="MsoNormal"> ImagePropertiesFilter,CoreFilter,PciPassthroughFilter<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> </blockquote> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Where did you supply the whitelist?<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Also, after making the whitelist change did you check the nova-compute.log? It typically reports the PCI devices that can be used for instances. <o:p></o:p></p> </div> <div> <p class="MsoNormal"><span style="color:#888888"><o:p> </o:p></span></p> </div> <div> <p class="MsoNormal"><span style="color:#888888">Joe<o:p></o:p></span></p> </div> <div> <div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> <o:p></o:p></p> </div> <blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"> <div> <div> <p class="MsoNormal">in ml2_conf.ini:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">1. type_drivers = vxlan,vlan<o:p></o:p></p> </div> <div> <p class="MsoNormal">2. mechanism_drivers =openvswitch,sriovnicswitch<o:p></o:p></p> </div> <div> <p class="MsoNormal">3. network_vlan_ranges = sriovnet:80:90<o:p></o:p></p> </div> <div> <p class="MsoNormal">in ml2_conf_sriov.ini:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">1. supported_pci_vendor_devs = 8086:10ed<o:p></o:p></p> </div> <div> <p class="MsoNormal">2. agent_required = False<o:p></o:p></p> </div> <div> <p class="MsoNormal">in neutron-server.service:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">1. ExecStart=/usr/bin/neutron-server --config-file /usr/share/neutron/neutron-dist.conf --config-dir /usr/share/neutron/server <o:p></o:p></p> </div> <div> <p class="MsoNormal"> --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugin.ini <o:p></o:p></p> </div> <div> <p class="MsoNormal"> --config-file /etc/neutron/plugins/ml2/ml2_conf_sriov.ini --config-dir /etc/neutron/conf.d/neutron-server <o:p></o:p></p> </div> <div> <p class="MsoNormal"> --log-file /var/log/neutron/server.log<o:p></o:p></p> </div> <div> <p class="MsoNormal"> <o:p></o:p></p> </div> <div> <p class="MsoNormal">created Network based on physical network I defined (sriovnet), configured subnet and created direct type port.<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">When I creating an image (nova boot --flavor m1.large --image my_img --nic port-id=087ff574-fb14-47fd-82cb-454f176154ff test_sriov) <o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">I get the following error:<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Traceback (most recent call last):<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> File "/usr/lib/python2.7/site-packages/oslo_messaging/rpc/server.py", line 142, in inner<o:p></o:p></p> </div> <div> <p class="MsoNormal"> return func(*args, **kwargs)<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> File "/usr/lib/python2.7/site-packages/nova/scheduler/manager.py", line 86, in select_destinations<o:p></o:p></p> </div> <div> <p class="MsoNormal"> filter_properties)<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal"> File "/usr/lib/python2.7/site-packages/nova/scheduler/filter_scheduler.py", line 80, in select_destinations<o:p></o:p></p> </div> <div> <p class="MsoNormal"> raise exception.NoValidHost(reason=reason)<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">NoValidHost: No valid host was found. There are not enough hosts available.<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">2015-08-18 04:28:22.886 17998 WARNING nova.scheduler.utils [req-5804960b-4614-4d0e-9a3d-a94964cf93f8 caf2b9813205455896e60c6d00c92b4d 4bd6b22041ef4123958a0f85c775b770 - - -] [instance: 470e16f9-002f-4ae4-82f4-17a83a93d860] Setting instance to ERROR state.<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Any idea what might be the problem here?<o:p></o:p></p> </div> <div> <p class="MsoNormal"><o:p> </o:p></p> </div> <div> <p class="MsoNormal">Thanks,<o:p></o:p></p> </div> <div> <p class="MsoNormal">Shaham<o:p></o:p></p> </div> </div> </blockquote> </div> </div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> <p class="MsoNormal">_______________________________________________<br> Rdo-list mailing list<br> <a href="mailto:Rdo-list@redhat.com" target="_blank">Rdo-list@redhat.com</a><br> <a href="https://www.redhat.com/mailman/listinfo/rdo-list" target="_blank">https://www.redhat.com/mailman/listinfo/rdo-list</a><br> <br> To unsubscribe: <a href="mailto:rdo-list-unsubscribe@redhat.com" target="_blank"> rdo-list-unsubscribe@redhat.com</a><o:p></o:p></p> </blockquote> </div> <p class="MsoNormal"><o:p> </o:p></p> </div> </blockquote> </div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> </div> </div> <p class="MsoNormal"><br> _______________________________________________<br> Rdo-list mailing list<br> <a href="mailto:Rdo-list@redhat.com">Rdo-list@redhat.com</a><br> <a href="https://www.redhat.com/mailman/listinfo/rdo-list" target="_blank">https://www.redhat.com/mailman/listinfo/rdo-list</a><br> <br> To unsubscribe: <a href="mailto:rdo-list-unsubscribe@redhat.com">rdo-list-unsubscribe@redhat.com</a><o:p></o:p></p> </blockquote> </div> <p class="MsoNormal"><o:p> </o:p></p> </div> </div> </div> </body> </html>