<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoPlainText, li.MsoPlainText, div.MsoPlainText
        {mso-style-priority:99;
        mso-style-link:"Plain Text Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Balloon Text Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
span.PlainTextChar
        {mso-style-name:"Plain Text Char";
        mso-style-priority:99;
        mso-style-link:"Plain Text";
        font-family:"Calibri","sans-serif";}
span.BalloonTextChar
        {mso-style-name:"Balloon Text Char";
        mso-style-priority:99;
        mso-style-link:"Balloon Text";
        font-family:"Tahoma","sans-serif";}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoPlainText">I just updated another cluster with the new openstack releases and after the update my glance-api-paste.ini nad glance-registry-paste.ini files are 0 bytes. I thought it would have created a save file. This might be a bug.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">-rw-r-----. 1 glance glance     0 Mar  5 17:52 glance-api-paste.ini<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">-rw-r-----. 1 glance glance  5408 Mar  5 17:52 glance-cache.conf<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">-rw-r-----. 1 glance glance  3117 Mar  5 17:52 glance-registry.conf<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">-rw-r-----. 1 glance glance     0 Mar  5 17:52 glance-registry-paste.ini<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">-rw-r-----  1 root   glance  1091 Feb 27 13:16 glance-scrubber.conf<o:p></o:p></span></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">-----Original Message-----<br>
From: rhos-list-bounces@redhat.com [mailto:rhos-list-bounces@redhat.com] On Behalf Of Minton, Rich<br>
Sent: Thursday, March 21, 2013 1:17 PM<br>
To: Russell Bryant<br>
Cc: rhos-list@redhat.com<br>
Subject: Re: [rhos-list] EXTERNAL: Re: Problems after Update.</p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">Found it! The NFS mount to my instances directory was missing. I remounted the directory and I can see all of my instances now.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">I have one other issue with metadata and ssh keys but I'll create a new thread for that.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">Thanks for the help.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">-----Original Message-----<o:p></o:p></p>
<p class="MsoPlainText">From: <a href="mailto:rhos-list-bounces@redhat.com"><span style="color:windowtext;text-decoration:none">rhos-list-bounces@redhat.com</span></a> [<a href="mailto:rhos-list-bounces@redhat.com"><span style="color:windowtext;text-decoration:none">mailto:rhos-list-bounces@redhat.com</span></a>]
 On Behalf Of Minton, Rich<o:p></o:p></p>
<p class="MsoPlainText">Sent: Thursday, March 21, 2013 1:03 PM<o:p></o:p></p>
<p class="MsoPlainText">To: Russell Bryant<o:p></o:p></p>
<p class="MsoPlainText">Cc: <a href="mailto:rhos-list@redhat.com"><span style="color:windowtext;text-decoration:none">rhos-list@redhat.com</span></a><o:p></o:p></p>
<p class="MsoPlainText">Subject: Re: [rhos-list] EXTERNAL: Re: Problems after Update.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">Here is some of what I found in "compute.log" and it doesn't look good.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:21 42682 WARNING nova.compute.manager [-] Found 5 in the database and 0 on the hypervisor.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:21 42682 WARNING nova.compute.manager [-] [instance: 2d87a89a-fcbb-4581-a7c3-0e2b2c30b568] Instance shutdown by itself. Calling the stop API.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:21 42682 WARNING nova.compute.manager [-] [instance: b7e64392-1f28-446f-8fb3-2b75dc895951] Instance shutdown by itself. Calling the stop API.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:21 42682 INFO nova.virt.libvirt.driver [-] [instance: 2d87a89a-fcbb-4581-a7c3-0e2b2c30b568] Instance destroyed successfully.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:21 42682 WARNING nova.compute.manager [-] [instance: 40153f6e-e963-4a30-bb0a-3f7e612d5638] Instance shutdown by itself. Calling the stop API.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:21 42682 INFO nova.virt.libvirt.driver [-] [instance: b7e64392-1f28-446f-8fb3-2b75dc895951] Instance destroyed successfully.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:22 42682 WARNING nova.compute.manager [-] [instance: a39787b8-2c66-4aaa-b154-42ec05c0e3c8] Instance shutdown by itself. Calling the stop API.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:22 42682 INFO nova.virt.libvirt.driver [-] [instance: 40153f6e-e963-4a30-bb0a-3f7e612d5638] Instance destroyed successfully.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:22 42682 WARNING nova.compute.manager [-] [instance: be67a3ef-036b-4df8-90dd-04cbd0ffafdb] Instance shutdown by itself. Calling the stop API.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:22 42682 INFO nova.virt.libvirt.driver [-] [instance: a39787b8-2c66-4aaa-b154-42ec05c0e3c8] Instance destroyed successfully.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:23 42682 INFO nova.virt.libvirt.driver [-] [instance: be67a3ef-036b-4df8-90dd-04cbd0ffafdb] Instance destroyed successfully.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:23 42682 AUDIT nova.compute.resource_tracker [-] Free ram (MB): 237303<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:23 42682 AUDIT nova.compute.resource_tracker [-] Free disk (GB): -14<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:23 42682 AUDIT nova.compute.resource_tracker [-] Free VCPUS: 38<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:15:23 42682 INFO nova.compute.resource_tracker [-] Compute_service record updated for uvslp-diu01os.lmdit.us.lmco.com<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 AUDIT nova.compute.manager [req-a00e05db-32f4-4be0-8885-e789e8474b4f f015ea92bf4848a891b73ae2fbf6c75b e4ba09fbf76c41a29218dc68cacf78d5] [instance: be67a3ef-036b-4df8-90dd-04cbd0ffafdb] Get console output<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 ERROR nova.openstack.common.rpc.amqp [-] Exception during message handling<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp Traceback (most recent call last):<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/openstack/common/rpc/amqp.py", line 276, in _process_data<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     rval = self.proxy.dispatch(ctxt, version, method, **args)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/openstack/common/rpc/dispatcher.py", line 145, in dispatch<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     return getattr(proxyobj, method)(ctxt, **kwargs)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/exception.py", line 117, in wrapped<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     temp_level, payload)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib64/python2.6/contextlib.py", line 23, in __exit__<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     self.gen.next()<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/exception.py", line 92, in wrapped<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     return f(*args, **kw)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/compute/manager.py", line 196, in decorated_function<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     kwargs['instance']['uuid'], e, sys.exc_info())<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib64/python2.6/contextlib.py", line 23, in __exit__<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     self.gen.next()<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/compute/manager.py", line 190, in decorated_function<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/compute/manager.py", line 1931, in get_console_output<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     output = self.driver.get_console_output(instance)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/exception.py", line 117, in wrapped<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     temp_level, payload)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib64/python2.6/contextlib.py", line 23, in __exit__<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     self.gen.next()<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/exception.py", line 92, in wrapped<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     return f(*args, **kw)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/virt/libvirt/driver.py", line 1150, in get_console_output<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     libvirt_utils.chown(path, os.getuid())<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/virt/libvirt/utils.py", line 332, in chown<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     execute('chown', owner, path, run_as_root=True)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/virt/libvirt/utils.py", line 53, in execute<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     return utils.execute(*args, **kwargs)<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.6/site-packages/nova/utils.py", line 206, in execute<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp     cmd=' '.join(cmd))<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp ProcessExecutionError: Unexpected error while running command.<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp Command: sudo nova-rootwrap /etc/nova/rootwrap.conf chown 162 /var/lib/nova/instances/instance-000000f2/console.log<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp Exit code: 1<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp Stdout: ''<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp Stderr: "/bin/chown: cannot access `/var/lib/nova/instances/instance-000000f2/console.log': No such file or directory\n"<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 TRACE nova.openstack.common.rpc.amqp<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 ERROR nova.openstack.common.rpc.common [-] Returning exception Unexpected error while running command.<o:p></o:p></p>
<p class="MsoPlainText">Command: sudo nova-rootwrap /etc/nova/rootwrap.conf chown 162 /var/lib/nova/instances/instance-000000f2/console.log<o:p></o:p></p>
<p class="MsoPlainText">Exit code: 1<o:p></o:p></p>
<p class="MsoPlainText">Stdout: ''<o:p></o:p></p>
<p class="MsoPlainText">Stderr: "/bin/chown: cannot access `/var/lib/nova/instances/instance-000000f2/console.log': No such file or directory\n" to caller<o:p></o:p></p>
<p class="MsoPlainText">2013-03-21 12:16:02 42682 ERROR nova.openstack.common.rpc.common [-] ['Traceback (most recent call last):\n', '  File "/usr/lib/python2.6/site-packages/nova/openstack/common/rpc/amqp.py", line 276, in _process_data\n    rval<o:p></o:p></p>
<p class="MsoPlainText">= self.proxy.dispatch(ctxt, version, method, **args)\n', '  File "/usr/lib/python2.6/site-packages/nova/openstack/common/rpc/dispatcher.py", line 145, in dispatch\n    return getattr(proxyobj, method)(ctxt, **kwargs)\n', '  F<o:p></o:p></p>
<p class="MsoPlainText">ile "/usr/lib/python2.6/site-packages/nova/exception.py", line 117, in wrapped\n    temp_level, payload)\n', '  File "/usr/lib64/python2.6/contextlib.py", line 23, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python<o:p></o:p></p>
<p class="MsoPlainText">2.6/site-packages/nova/exception.py", line 92, in wrapped\n    return f(*args, **kw)\n', '  File "/usr/lib/python2.6/site-packages/nova/compute/manager.py", line 196, in decorated_function\n    kwargs[\'instance\'][\'uuid\'],<o:p></o:p></p>
<p class="MsoPlainText">e, sys.exc_info())\n', '  File "/usr/lib64/python2.6/contextlib.py", line 23, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.6/site-packages/nova/compute/manager.py", line 190, in decorated_function\n    retu<o:p></o:p></p>
<p class="MsoPlainText">rn function(self, context, *args, **kwargs)\n', '  File "/usr/lib/python2.6/site-packages/nova/compute/manager.py", line 1931, in get_console_output\n    output = self.driver.get_console_output(instance)\n', '  File "/usr/lib<o:p></o:p></p>
<p class="MsoPlainText">/python2.6/site-packages/nova/exception.py", line 117, in wrapped\n    temp_level, payload)\n', '  File "/usr/lib64/python2.6/contextlib.py", line 23, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.6/site-pack<o:p></o:p></p>
<p class="MsoPlainText">ages/nova/exception.py", line 92, in wrapped\n    return f(*args, **kw)\n', '  File "/usr/lib/python2.6/site-packages/nova/virt/libvirt/driver.py", line 1150, in get_console_output\n    libvirt_utils.chown(path, os.getuid())\<o:p></o:p></p>
<p class="MsoPlainText">n', '  File "/usr/lib/python2.6/site-packages/nova/virt/libvirt/utils.py", line 332, in chown\n    execute(\'chown\', owner, path, run_as_root=True)\n', '  File "/usr/lib/python2.6/site-packages/nova/virt/libvirt/utils.py", l<o:p></o:p></p>
<p class="MsoPlainText">ine 53, in execute\n    return utils.execute(*args, **kwargs)\n', '  File "/usr/lib/python2.6/site-packages/nova/utils.py", line 206, in execute\n    cmd=\' \'.join(cmd))\n', 'ProcessExecutionError: Unexpected error while run<o:p></o:p></p>
<p class="MsoPlainText">ning command.\nCommand: sudo nova-rootwrap /etc/nova/rootwrap.conf chown 162 /var/lib/nova/instances/instance-000000f2/console.log\nExit code: 1\nStdout: \'\'\nStderr: "/bin/chown: cannot access `/var/lib/nova/instances/insta<o:p></o:p></p>
<p class="MsoPlainText">nce-000000f2/console.log\': No such file or directory\\n"\n']<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">-----Original Message-----<o:p></o:p></p>
<p class="MsoPlainText">From: Russell Bryant [<a href="mailto:rbryant@redhat.com"><span style="color:windowtext;text-decoration:none">mailto:rbryant@redhat.com</span></a>]<o:p></o:p></p>
<p class="MsoPlainText">Sent: Thursday, March 21, 2013 12:42 PM<o:p></o:p></p>
<p class="MsoPlainText">To: Minton, Rich<o:p></o:p></p>
<p class="MsoPlainText">Cc: <a href="mailto:rhos-list@redhat.com"><span style="color:windowtext;text-decoration:none">rhos-list@redhat.com</span></a><o:p></o:p></p>
<p class="MsoPlainText">Subject: EXTERNAL: Re: Problems after Update.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">Based on the instance data, there should be a Traceback in the log somewhere.  Check nova-compute.log.<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">--<o:p></o:p></p>
<p class="MsoPlainText">Russell Bryant<o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">On 03/21/2013 12:23 PM, Minton, Rich wrote:<o:p></o:p></p>
<p class="MsoPlainText">> I found the source of a couple of my problems...<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> The update wiped out my glance-api-paste.ini and <o:p></o:p></p>
<p class="MsoPlainText">> glance-registry-paste.ini. Thank fully I had backups.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> I still have instances that are in shutoff/shutdown mode. I was able
<o:p></o:p></p>
<p class="MsoPlainText">> to get them to back to "active" but then they  went to "shutoff" soon
<o:p></o:p></p>
<p class="MsoPlainText">> after. Here is the "nova show" for one of the instances.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> +-------------------------------------+------------------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | Property                            |<o:p></o:p></p>
<p class="MsoPlainText">> Value                                                                                  
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> +-------------------------------------+------------------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-DCF:diskConfig                   |<o:p></o:p></p>
<p class="MsoPlainText">> MANUAL                                                                                  <o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-EXT-SRV-ATTR:host                |<o:p></o:p></p>
<p class="MsoPlainText">> uvslp-diu01os.lmdit.us.lmco.com                                                       
<o:p></o:p></p>
<p class="MsoPlainText">>  |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-EXT-SRV-ATTR:hypervisor_hostname |<o:p></o:p></p>
<p class="MsoPlainText">> uvslp-diu01os.lmdit.us.lmco.com                                                         <o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-EXT-SRV-ATTR:instance_name       |<o:p></o:p></p>
<p class="MsoPlainText">> instance-000000ea                                                               
<o:p></o:p></p>
<p class="MsoPlainText">>        |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-EXT-STS:power_state              |<o:p></o:p></p>
<p class="MsoPlainText">> 4                                                                                       <o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-EXT-STS:task_state               |<o:p></o:p></p>
<p class="MsoPlainText">> None                                                                      
<o:p></o:p></p>
<p class="MsoPlainText">>              |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | OS-EXT-STS:vm_state                 |<o:p></o:p></p>
<p class="MsoPlainText">> error                                                                                  
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | accessIPv4                         <o:p></o:p></p>
<p class="MsoPlainText">> |                                                                     
<o:p></o:p></p>
<p class="MsoPlainText">>                    |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | accessIPv6                         <o:p></o:p></p>
<p class="MsoPlainText">> |                                                                                        
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | config_drive                       <o:p></o:p></p>
<p class="MsoPlainText">> |                                                               
<o:p></o:p></p>
<p class="MsoPlainText">>                          |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | created                             |<o:p></o:p></p>
<p class="MsoPlainText">> 2013-03-18T15:39:29Z                                                                   
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | fault                               | {u'message': u'IOError',<o:p></o:p></p>
<p class="MsoPlainText">> u'code': 500, u'created': u'2013-03-21T16:17:12Z'}              |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | flavor                              | m1.medium<o:p></o:p></p>
<p class="MsoPlainText">> (3)                                                                          
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | hostId                              |<o:p></o:p></p>
<p class="MsoPlainText">> e55588f13411a788271d5273f0dabfa2eb755e0323dab51039dab866                               
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | id                                  |<o:p></o:p></p>
<p class="MsoPlainText">> a39787b8-2c66-4aaa-b154-42ec05c0e3c8                                                   
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | image                               | Red Hat Enterprise Linux 6.4,<o:p></o:p></p>
<p class="MsoPlainText">> x86_64, Base Server (71c092f5-55de-4b3b-a9d9-4fcb25e15a89) |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | key_name                            |<o:p></o:p></p>
<p class="MsoPlainText">> TestKeys                                                                                <o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | lmicc-access-nic network            |<o:p></o:p></p>
<p class="MsoPlainText">> 10.10.16.11                                                                            
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | metadata                            |<o:p></o:p></p>
<p class="MsoPlainText">> {}                                                                                  <o:p></o:p></p>
<p class="MsoPlainText">>     |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | name                                |<o:p></o:p></p>
<p class="MsoPlainText">> demo                                                                                   
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | security_groups                     | [{u'name':<o:p></o:p></p>
<p class="MsoPlainText">> u'default'}]                                                       <o:p></o:p></p>
<p class="MsoPlainText">>           |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | status                              |<o:p></o:p></p>
<p class="MsoPlainText">> ERROR                                                                                  
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | tenant_id                           |<o:p></o:p></p>
<p class="MsoPlainText">> e4ba09fbf76c41a29218dc68cacf78d5                                       
<o:p></o:p></p>
<p class="MsoPlainText">>                 |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | updated                             |<o:p></o:p></p>
<p class="MsoPlainText">> 2013-03-21T16:17:12Z                                                                   
<o:p></o:p></p>
<p class="MsoPlainText">> |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> | user_id                             |<o:p></o:p></p>
<p class="MsoPlainText">> f015ea92bf4848a891b73ae2fbf6c75b                                 
<o:p></o:p></p>
<p class="MsoPlainText">>                       |<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> +-------------------------------------+------------------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> *From:*rhos-list-bounces@redhat.com<o:p></o:p></p>
<p class="MsoPlainText">> [<a href="mailto:rhos-list-bounces@redhat.com"><span style="color:windowtext;text-decoration:none">mailto:rhos-list-bounces@redhat.com</span></a>] *On Behalf Of *Minton, Rich<o:p></o:p></p>
<p class="MsoPlainText">> *Sent:* Thursday, March 21, 2013 11:45 AM<o:p></o:p></p>
<p class="MsoPlainText">> *To:* <a href="mailto:rhos-list@redhat.com"><span style="color:windowtext;text-decoration:none">rhos-list@redhat.com</span></a><o:p></o:p></p>
<p class="MsoPlainText">> *Subject:* EXTERNAL: [rhos-list] Problems after Update.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Where to begin... Basically, I'm hosed.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> I performed an update to the latest versions of the Openstack distro
<o:p></o:p></p>
<p class="MsoPlainText">> and rebooted my hosts. Then problems started...<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> *         Can't launch new instances-the in progress star comes up and<o:p></o:p></p>
<p class="MsoPlainText">> stays there almost forever.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> *         Several of my instances went to an error state. When I tried<o:p></o:p></p>
<p class="MsoPlainText">> to reset their state to "active" they went into shutdown/shutoff state.<o:p></o:p></p>
<p class="MsoPlainText">> These are the instances on my controller/compute node. I typed "virsh
<o:p></o:p></p>
<p class="MsoPlainText">> list" and the list was empty.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> *         I tried to bring up a VNC Console on one of the running<o:p></o:p></p>
<p class="MsoPlainText">> instances and after several minutes received this error in the browser:<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> ----------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoPlainText">> ---------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> CommunicationError at<o:p></o:p></p>
<p class="MsoPlainText">> /nova/instances/1f6cb3f6-c4d4-45ac-890b-bf2770a90c82/<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> _Error communicating with <a href="http://10.10.12.245:9292">
<span style="color:windowtext;text-decoration:none">http://10.10.12.245:9292</span></a> timed out_<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Request Method:    GET<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Request URL:            <o:p></o:p></p>
<p class="MsoPlainText">> <a href="http://10.10.12.245/dashboard/nova/instances/1f6cb3f6-c4d4-45ac-890b-b">
<span style="color:windowtext;text-decoration:none">http://10.10.12.245/dashboard/nova/instances/1f6cb3f6-c4d4-45ac-890b-b</span></a><o:p></o:p></p>
<p class="MsoPlainText">> f2770a90c82/?tab=instance_details__vnc<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Django Version:        1.4.2<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Exception Type:        CommunicationError<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Exception Value:     <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Error communicating with <a href="http://10.10.12.245:9292">
<span style="color:windowtext;text-decoration:none">http://10.10.12.245:9292</span></a> timed out<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Exception Location:                <o:p></o:p></p>
<p class="MsoPlainText">> /usr/lib/python2.6/site-packages/glanceclient/common/http.py in
<o:p></o:p></p>
<p class="MsoPlainText">> _http_request, line 145<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Python Executable:                 /usr/bin/python<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Python Version:       2.6.6<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Python Path:             <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> ['/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../..',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python26.zip',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6/plat-linux2',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6/lib-tk',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6/lib-old',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6/lib-dynload',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6/site-packages',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib64/python2.6/site-packages/gtk-2.0',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib/python2.6/site-packages/WebOb-1.0.8-py2.6.egg',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib/python2.6/site-packages/PasteDeploy-1.5.0-py2.6.egg',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib/python2.6/site-packages',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/lib/python2.6/site-packages/setuptools-0.6c11-py2.6.egg-info',<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> '/usr/share/openstack-dashboard/openstack_dashboard']<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Server time:               Thu, 21 Mar 2013 15:26:38 +0000<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> ----------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoPlainText">> --------------------------------------------------------------<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> *         I tried deleting iptables and rebooting but did not solve<o:p></o:p></p>
<p class="MsoPlainText">> anything.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> *         I'm not seeing  anything out of the ordinary in the nova logs.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Any ideas on where I should start looking?<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Thanks for any help.<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Rick<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> _Richard Minton_<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> LMICC Systems Administrator<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> 4000 Geerdes Blvd, 13D31<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> King of Prussia, PA 19406<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">> Phone: 610-354-5482<o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText">>  <o:p></o:p></p>
<p class="MsoPlainText">> <o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">_______________________________________________<o:p></o:p></p>
<p class="MsoPlainText">rhos-list mailing list<o:p></o:p></p>
<p class="MsoPlainText"><a href="mailto:rhos-list@redhat.com"><span style="color:windowtext;text-decoration:none">rhos-list@redhat.com</span></a><o:p></o:p></p>
<p class="MsoPlainText"><a href="https://www.redhat.com/mailman/listinfo/rhos-list"><span style="color:windowtext;text-decoration:none">https://www.redhat.com/mailman/listinfo/rhos-list</span></a><o:p></o:p></p>
<p class="MsoPlainText"><o:p> </o:p></p>
<p class="MsoPlainText">_______________________________________________<o:p></o:p></p>
<p class="MsoPlainText">rhos-list mailing list<o:p></o:p></p>
<p class="MsoPlainText"><a href="mailto:rhos-list@redhat.com"><span style="color:windowtext;text-decoration:none">rhos-list@redhat.com</span></a><o:p></o:p></p>
<p class="MsoPlainText"><a href="https://www.redhat.com/mailman/listinfo/rhos-list"><span style="color:windowtext;text-decoration:none">https://www.redhat.com/mailman/listinfo/rhos-list</span></a><o:p></o:p></p>
</div>
</body>
</html>