<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">Sorry to be mailing again, think this info helps though...</div><div class="gmail_quote"><br></div><div class="gmail_quote"><br></div><div class="gmail_quote"><br></div><div class="gmail_quote">On Sun, Jun 3, 2018 at 1:13 PM, Inbox <span dir="ltr"><<a href="mailto:jimhaddad46@gmail.com" target="_blank">jimhaddad46@gmail.com</a>></span> wrote:</div><div class="gmail_quote">...<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div># lvcreate -V200G lvm/disk3thin -n test3<br></div></div></blockquote><div>...</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>  /dev/sdh3: write failed after 24064 of 24576 at 4993488961536: No space left on device</div></div></blockquote><div>... </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div># lvremove lvm/test3<br></div><div>  /dev/sdh3: write failed after 24064 of 24576 at 4993488961536: No space left on device</div><div>  WARNING: Failed to write an MDA of VG lvm.</div><div>  /dev/sdg3: write failed after 24064 of 24576 at 4993488961536: No space left on device</div><div>  WARNING: Failed to write an MDA of VG lvm.</div><div>  /dev/sdf3: write failed after 24064 of 24576 at 4993488961536: No space left on device</div><div>  WARNING: Failed to write an MDA of VG lvm.</div></div></blockquote><div><br></div><div>fdisk -l  shows sdf3, sdg3, and sdh3, sdg3, are 4993488985600 bytes.</div><div><br></div><div>After some reading, I'm guessing mda means metadata area.</div><div><br></div><div>If LVM is trying to write mda2 at <span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">4993488961536, there's only 24064 bytes left in the partition, which is exactly where it's saying the write is failing.</span></div><div><span style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline"><br></span></div><div>I did use "--pvmetadatacopies 2" when running pvcreate.</div><div><br></div><div>So, am I right that it's trying to write more than 24k of metadata at the end of the disk, but there's only 24k left at the end of the disk for a metadata copy?</div><div><br></div><div>If so, where the other locations for metadata (both the main one, and the first copy) only 24k?  Did I lose metadata in those areas?  Did it overwrite what was after the metadata area?</div><div><br></div><div>Where do I go from here?</div><div><br></div><div><div># pvdisplay --maps /dev/sdh3</div><div>  --- Physical volume ---</div><div>  PV Name               /dev/sdh3</div><div>  VG Name               lvm</div><div>  PV Size               4.54 TiB / not usable 2.19 MiB</div><div>  Allocatable           yes (but full)</div><div>  PE Size               4.00 MiB</div><div>  Total PE              1190540</div><div>  Free PE               0</div><div>  Allocated PE          1190540</div><div>  PV UUID               BK8suJ-dqiy-mdK4-IyUH-aeRR-TPUo-3Dj6JG</div><div><br></div><div>  --- Physical Segments ---</div><div>  Physical extent 0 to 127:</div><div>    Logical volume      /dev/lvm/disk1thin_tmeta</div><div>    Logical extents     32 to 159</div><div>  Physical extent 128 to 4095:</div><div>    Logical volume      /dev/lvm/swap1</div><div>    Logical extents     0 to 3967</div><div>  Physical extent 4096 to 4127:</div><div>    Logical volume      /dev/lvm/lvol0_pmspare</div><div>    Logical extents     0 to 31</div><div>  Physical extent 4128 to 132127:</div><div>    Logical volume      /dev/lvm/disk1thin_tdata</div><div>    Logical extents     0 to 127999</div><div>  Physical extent 132128 to 132159:</div><div>    Logical volume      /dev/lvm/disk1thin_tmeta</div><div>    Logical extents     0 to 31</div><div>  Physical extent 132160 to 1190539:</div><div>    Logical volume      /dev/lvm/disk1thin_tdata</div><div>    Logical extents     128000 to 1186379</div></div><div><br></div><div>Those physical extents translate to beginning/ending bytes (4MiB PE size) of:</div><div><br></div><div><div>0<span style="white-space:pre">  </span>532676608</div><div>536870912<span style="white-space:pre">    </span>17175674880</div><div>17179869184<span style="white-space:pre">        </span>17309892608</div><div>17314086912<span style="white-space:pre">        </span>554180804608</div><div>554184998912<span style="white-space:pre">      </span>554315022336</div><div>554319216640<span style="white-space:pre">      </span>4993482489856</div></div><div><br></div><div><br></div><div>Disk size (4993488961536) - last physical extent ending byte (4993482489856 + 4*1024*1024 assuming worst case scenario here, the x856 is the starting byte of the last extent) still leaves 2277376 bytes, way more than 24k.</div></div></div></div>