<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">Hi,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">We have a deployment of FreeIPA using 3 nodes (Master with more 2 replicas).</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">Recently, the master node had a problem with the process 'ns-slapd' consuming 100% of CPU. During this problem, DNS service wasn't working, IPA admin UI encountered timeout, SSH keys to access the hosts are not being loaded correctly.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">We observed in the logs of "dirsrv" that something related to the cachesize wasn't enough to the space needed and then ns-slapd started a process to recover it. We let the server running this operation almost one day and nothing happened.<br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">Today, we tried to:</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">1 - remove the failed server from the deployment, using the command below, but unfortunately, it wasn't possible to do from both the 2 other nodes.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif">ipa-replica-manage del --force mux-idm-p03.muxi.dc --cacert=/etc/ipa/ca.crt</font><br></div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif"><div class="gmail_default">unexpected error: cannot connect to 'ldaps://localhost.localdomain:636</div><div class="gmail_default"><br></div><div class="gmail_default">2 - tried to upgrade the failed server to a most recent version of IPA using ipa-server-upgrade but it stopped in the step to connect</div><div class="gmail_default"><br></div><div class="gmail_default"><div class="gmail_default">  [5/10]: starting directory server</div><div class="gmail_default"><div class="gmail_default"><br></div><div class="gmail_default">2016-09-14T13:43:28Z ERROR IPA server upgrade failed: Inspect /var/log/ipaupgrade.log and run command ipa-server-upgrade manually.</div><div class="gmail_default"><div class="gmail_default">2016-09-14T13:43:28Z DEBUG The ipa-server-upgrade command failed, exception: error: [Errno 111] Connection refused</div><div><div>2016-09-14T13:43:28Z ERROR [Errno 111] Connection refused</div></div><div><br></div><div>3 - tried to recover the 389-ds database with the command "db_recover -f -v" but nothing happened.</div><div>4 - visited similar threads but none of them helped me</div><div><br></div><div><a href="https://www.redhat.com/archives/freeipa-users/2013-May/msg00015.html">https://www.redhat.com/archives/freeipa-users/2013-May/msg00015.html</a><br></div><div><a href="https://www.redhat.com/archives/freeipa-users/2015-July/msg00188.html">https://www.redhat.com/archives/freeipa-users/2015-July/msg00188.html</a><br></div><div><br></div><div>5 - as we need to urgently recover the service, we tried to rebuild the failed server, removing and reinstalling all the packages needed by ipa-server (yum install ipa-server bind bind-dyndb-ldap ipa-server-dns) and tried to re-join the new server as a replica to receive all the data again, but it doesn't seems to work.</div></div></div></div><div class="gmail_default"><br></div></font></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">The other nodes are working well, resolving DNS requests, allowing users to access the servers using SSH, etc.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">Any ideas of what I can do to rebuild the server?</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">Versions</div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif">ipa-server-4.2.0-15.0.1.el7.centos.19.x86_64</font><br></div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif">ipa-server-dns-4.2.0-15.0.1.el7.centos.19.x86_64</font></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">389-ds-base-1.3.4.0-33.el7_2.x86_64</div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif">CentOS Linux release 7.2.1511 (Core)</font></div>
</div>