<div dir="ltr"><div class="gmail_default" style="font-family:courier new,monospace">I'm getting mixed results but it is looking like ZFS have something to do with the problem afterall. </div><div class="gmail_default" style="font-family:courier new,monospace">
<br></div><div class="gmail_default" style="font-family:courier new,monospace">I tried it with dm-crypt -> XFS -> NFS and I'm not seeing the same lag issue. I say mixed results mainly because I've been using rsync to do the testing and for some reason rsync has trouble with this setup. It works but really slowly. Like around 3 MB/sec over a Gigabit link. If I use "cp -pR" then it goes at 60 MB/sec. I use rsync all the time and I've never seen this before so it took a while for me to realize that rsync was acting up. Anyone run into this before?</div>
<div class="gmail_default" style="font-family:courier new,monospace"><br></div><div class="gmail_default" style="font-family:courier new,monospace">I'll bring this to the ZFSonLinux people and see what they say.</div>
<div class="gmail_default" style="font-family:courier new,monospace"><br></div><div class="gmail_default" style="font-family:courier new,monospace">Thanks,</div><div class="gmail_default" style="font-family:courier new,monospace">
<br></div><div class="gmail_default" style="font-family:courier new,monospace">Steve</div>
</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Mar 20, 2014 at 3:16 PM, Milan Broz <span dir="ltr"><<a href="mailto:gmazyland@gmail.com" target="_blank">gmazyland@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On 03/20/2014 03:48 PM, Stephen Cousins wrote:<br>
> I am testing dm-crypt with a system that serves data over NFS. I'm<br>
> finding that when serving the data over NFS4 it will go for a little<br>
> while and then it will just stop copying and networking on the NFS<br>
> server will stall out so that other connections to other parts of the<br>
> storage (a non-dm-crypt volume) will become very laggy. Soon after<br>
> canceling the copy the other connections resume back to normal.<br>
><br>
> I have tried this on two different servers, one with a single disk<br>
> with ZFS and another with a ZFS raidz2 pool and they both do the same<br>
> thing. CPU doesn't seem to be an issue. Doing local copies is not a<br>
> problem. That is, copying to/from these volumes made up of dm-crypted<br>
> disks from other disks on the server have no problems.<br>
><br>
> One system (the one with the RAID pool) is CentOS 6.4 and the other<br>
> one is CentOS 6.5.<br>
><br>
> I'm curious if anyone else has run into this before and if so, what<br>
> can be done to make it work? I'm going to test to see if taking ZFS<br>
> out of the equation helps. I haven't run into this with ZFS with<br>
> disks without dm-crypt.<br>
<br>
</div>Hi,<br>
<br>
unfortunately the dmcrypt code in Centos 6.x is not what is upstream<br>
kernel (mainly because of per cpu processing changes upstream).<br>
(It would be interesting if it is reproducible with upstream kernel,<br>
but I guess it is not easy to test...)<br>
<br>
I am adding cc to dm-devel list, maybe someone there could have some idea<br>
how to help here.<br>
<br>
Milan<br>
<div class=""><br>
><br>
> Thanks,<br>
><br>
> Steve<br>
><br>
><br>
><br>
> -- ________________________________________________________________<br>
> Steve Cousins             Supercomputer Engineer/Administrator<br>
> Advanced Computing Group            University of Maine System 244<br>
> Neville Hall (UMS Data Center)              <a href="tel:%28207%29%20561-3574" value="+12075613574">(207) 561-3574</a><br>
</div>> <tel:%28207%29%20561-3574> Orono ME 04469<br>
> steve.cousins at <a href="http://maine.edu" target="_blank">maine.edu</a> <<a href="http://maine.edu" target="_blank">http://maine.edu</a>><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><span style="font-family:courier new,monospace">________________________________________________________________</span><br style="font-family:courier new,monospace">
<span style="font-family:courier new,monospace"> Steve Cousins             Supercomputer Engineer/Administrator</span><br style="font-family:courier new,monospace"><span style="font-family:courier new,monospace"> Advanced Computing Group            University of Maine System</span><br style="font-family:courier new,monospace">
<span style="font-family:courier new,monospace"> 244 Neville Hall (UMS Data Center)              (207) 561-3574</span><br style="font-family:courier new,monospace"><span style="font-family:courier new,monospace"> Orono ME 04469                      steve.cousins at <a href="http://maine.edu" target="_blank">maine.edu</a></span><br>
<br>
</div>