Thank you very much, that did the trick. I will remove sg3_utils package now. Hopefully this will never happen again. I had to remove SCSI reservations from 4 different volumes. Any suggestions on how to avoid this in the future? We were planning on using SCSI fencing in combination with APC Power Switches, I am not sure this is such a good idea after this experience? Any additional thoughts?<br>
<br><div class="gmail_quote">On Thu, Feb 19, 2009 at 11:34 AM, Ryan O'Hara <span dir="ltr"><<a href="mailto:rohara@redhat.com">rohara@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="Ih2E3d">On Thu, Feb 19, 2009 at 11:07:12AM -0600, Alan A wrote:<br>
><br>
> Thank you Ryan. This was totally correct - yet it will not let me remove the<br>
> reservation. Here is the output of several commands I tried:<br>
><br>
> [root@fendev04 ~]# sg_persist -o -C -K 0xb0b40001 /dev/gfs_acct61/acct61<br>
>   HP        OPEN-V            6002<br>
>   Peripheral device type: disk<br>
> persistent reserve out: scsi status: Reservation Conflict<br>
> PR out: command failed<br>
><br>
> ---------<br>
<br>
</div>Ok. The trick is that you have to attempt to clear the reservations<br>
from a node that is registered with the device. In other words, being<br>
registered with the device is a prerequisite for doing certain<br>
operations, like clearing reservations and what-not.<br>
<div class="Ih2E3d"><br>
<br>
> [root@fendev04 ~]# sg_persist -i -k /dev/gfs_acct61/acct61<br>
>   HP        OPEN-V            6002<br>
>   Peripheral device type: disk<br>
>   PR generation=0x2, 2 registered reservation keys follow:<br>
>     0xb0b40001<br>
>     0xb0b40003<br>
<br>
</div>So we have 2 keys registered. We'll call 'em 0001 and 0003. Those<br>
lower 32-bits are generated from the nodeid defined in cluster.conf,<br>
so if explicitly set the nodeid's in the config file, this should help<br>
determine which node is associated with each key.<br>
<div class="Ih2E3d"><br>
> [root@fendev04 ~]# sg_persist -i -r /dev/gfs_acct61/acct61<br>
>   HP        OPEN-V            6002<br>
>   Peripheral device type: disk<br>
>   PR generation=0x2, Reservation follows:<br>
>     Key=0xb0b40001<br>
>     scope: LU_SCOPE,  type: Write Exclusive, registrants only<br>
<br>
</div>The reservation holder is 0001. That looks fine.<br>
<br>
Just out of curisousity, I see that that commands you were running<br>
were from a machine named 'fendev04'. Would that happen to be nodeid<br>
4? If so, I'm guessing that the node you are trying to run the<br>
commands form is not registered with the device. Run the same command<br>
(sg_persist -o -C ...) from a different node (ie. one that is still<br>
registered with the device) and it should work.<br>
<div><div></div><div class="Wj3C7c"><br>
--<br>
Linux-cluster mailing list<br>
<a href="mailto:Linux-cluster@redhat.com">Linux-cluster@redhat.com</a><br>
<a href="https://www.redhat.com/mailman/listinfo/linux-cluster" target="_blank">https://www.redhat.com/mailman/listinfo/linux-cluster</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Alan A.<br>