<div dir="ltr">We have ~1000 clients, in the evening spacewalk runs a lot of commands (checks files revisions for example)<div><br></div><div>I'm receiving ~1000 tracebacks, clients can't connect to spacewalk.</div><div><br></div><div>1. Usually sp as ~300 processes, during those task ~ 1000</div><div>2. I didn't change any tomcat/httpd settings</div><div>3. Only changed postgres setttings to be optimized for 64Gb or ram</div><div>4. </div><div><br></div><div>No any errors on backends, but top:</div><div><br></div><div><div>op - 06:48:54 up 1 day, 6 min,  2 users,  load average: 155.93, 133.08, 117.28</div><div>Tasks: 965 total, 119 running, 846 sleeping,   0 stopped,   0 zombie</div><div>%Cpu(s): 95.3 us,  1.2 sy,  0.0 ni,  3.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st</div><div>KiB Mem : 65767568 total, 50071348 free,  7842848 used,  7853372 buff/cache</div><div>KiB Swap: 33008636 total, 33002300 free,     6336 used. 56303848 avail Mem</div><div><br></div><div>  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND</div><div>44415 postgres  20   0 15.577g 188576 185440 R  11.6  0.3   0:22.19 postgres</div><div>45154 postgres  20   0 15.586g  21764  15564 S  10.9  0.0   0:15.56 postgres</div><div>45271 postgres  20   0 15.586g  19588  13680 S  10.9  0.0   0:14.95 postgres</div><div>45136 postgres  20   0 15.586g  19944  14064 R  10.6  0.0   0:16.09 postgres</div><div>45161 postgres  20   0 15.586g  22348  16044 R  10.6  0.0   0:16.13 postgres</div><div>45172 postgres  20   0 15.586g  19512  13680 S  10.6  0.0   0:15.86 postgres</div><div>44792 postgres  20   0 15.586g  22292  16044 R  10.3  0.0   0:17.78 postgres</div><div>44885 postgres  20   0 15.584g  18824  13932 R  10.3  0.0   0:16.73 postgres</div><div>44998 postgres  20   0 15.586g  21296  15100 R  10.3  0.0   0:16.36 postgres</div><div>45011 postgres  20   0 15.586g  21200  15048 R  10.3  0.0   0:16.45 postgres</div><div>45034 postgres  20   0 15.586g  19348  13540 S  10.3  0.0   0:16.59 postgres</div><div>45120 postgres  20   0 15.586g  22060  15608 S  10.3  0.0   0:15.85 postgres</div><div>45131 postgres  20   0 15.586g  19352  13560 R  10.3  0.0   0:15.76 postgres</div><div>45167 postgres  20   0 15.586g  19416  13580 S  10.3  0.0   0:15.88 postgres</div><div>45254 postgres  20   0 15.586g  21096  15020 S  10.3  0.0   0:11.00 postgres</div><div>45261 postgres  20   0 15.586g  19328  13516 R  10.3  0.0   0:15.47 postgres</div><div>45267 postgres  20   0 15.586g  19372  13560 R  10.3  0.0   0:15.14 postgres</div><div>44492 postgres  20   0 15.586g  24872  18508 R  10.0  0.0   0:21.62 postgres</div><div>44791 postgres  20   0 15.586g  24396  17840 S  10.0  0.0   0:17.04 postgres</div><div>44944 postgres  20   0 15.586g  19324  13512 S  10.0  0.0   0:17.23 postgres</div><div>44946 postgres  20   0 15.586g  19388  13556 S  10.0  0.0   0:16.82 postgres</div><div>44957 postgres  20   0 15.586g  19356  13520 R  10.0  0.0   0:16.76 postgres</div><div>45045 postgres  20   0 15.586g  19372  13564 S  10.0  0.0   0:16.89 postgres</div><div>45099 postgres  20   0 15.586g  19448  13624 R  10.0  0.0   0:16.24 postgres</div><div>45116 postgres  20   0 15.586g  19444  13628 S  10.0  0.0   0:15.95 postgres</div><div>45142 postgres  20   0 15.586g  19412  13612 R  10.0  0.0   0:15.75 postgres</div><div>45153 postgres  20   0 15.586g  20932  14924 S  10.0  0.0   0:15.63 postgres</div><div>45169 postgres  20   0 15.586g  19900  14064 S  10.0  0.0   0:15.76 postgres</div><div>45197 postgres  20   0 15.586g  19368  13532 R  10.0  0.0   0:15.79 postgres</div><div>45218 postgres  20   0 15.586g  19824  13964 R  10.0  0.0   0:15.04 postgres</div><div>45259 postgres  20   0 15.586g  19364  13548 S  10.0  0.0   0:15.56 postgres</div><div>44447 postgres  20   0 15.586g  26928  20336 R   9.6  0.0   0:21.75 postgres</div><div>44763 postgres  20   0 15.586g  22256  16024 R   9.6  0.0   0:16.38 postgres</div><div>44799 postgres  20   0 15.586g  24700  18116 S   9.6  0.0   0:17.20 postgres</div><div>44836 postgres  20   0 15.586g  21084  14928 S   9.6  0.0   0:16.58 postgres</div><div>44895 postgres  20   0 15.586g  20784  14464 R   9.6  0.0   0:17.45 postgres</div><div>44950 postgres  20   0 15.586g  19272  13464 S   9.6  0.0   0:16.52 postgres</div><div>44954 postgres  20   0 15.586g  18128  12736 R   9.6  0.0   0:16.56 postgres</div><div>44955 postgres  20   0 15.586g  19412  13584 R   9.6  0.0   0:16.68 postgres</div></div><div><br></div><div><div>#------------------------------------------------------------------------------</div><div># pgtune run on 2017-03-22</div><div># Based on 65767568 KB RAM, platform Linux</div><div>#------------------------------------------------------------------------------</div><div><br></div><div>maintenance_work_mem = 2GB</div><div>checkpoint_completion_target = 0.9</div><div>effective_cache_size = 44GB</div><div>work_mem = 52MB</div><div>wal_buffers = 16MB</div><div>shared_buffers = 15GB</div><div>max_connections = 600</div></div><div><br></div><div>Any thoughts how to optimize get back sp to life? Thanks</div></div>