<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none"><!--P{margin-top:0;margin-bottom:0;} p
        {margin-top:0;
        margin-bottom:0}p
        {margin-top:0;
        margin-bottom:0}--></style>
</head>
<body dir="ltr" style="font-size:12pt;color:#000000;background-color:#FFFFFF;font-family:Calibri,Arial,Helvetica,sans-serif;">
<p><br>
</p>
<div id="Signature">
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<div style="color: rgb(33, 33, 33);">
<div id="divRplyFwdMsg" dir="ltr"></div>
<div><br>
<div class="moz-cite-prefix">On 08/12/2016 04:10 PM, Louis Francoeur wrote:<br>
</div>
<blockquote type="cite"><style type="text/css" style="">
<!--
p
        {margin-top:0;
        margin-bottom:0}
-->
</style>
<p>Since the rpm update to ipa-server-dns-4.2.0-15.0.1.el7.centos.18.x86_64 (running on Centos 7),<br>
</p>
<p><br>
</p>
<p>most of my replication started to failed with:</p>
</blockquote>
<span style="text-decoration: underline;">what do you mean by "most of", if some servers still work and others don't is there something different ?</span><br>
<br>
All servers were created as a replica from server3<br>
<br>
Server1 - 3 of 4 replication failing
<p>Server2 - 2 of 2 replication failing </p>
<p>Server3 - 1 of 6 replication failing - Originating server for all others</p>
<p>Server4 - 4 of 4 replication failing<br>
</p>
<p>Server5 - 1 of 2 replication failing</p>
<p>Server6 - 3 of 3 replication failing</p>
<p>Server7 - 2 of 2 replication failing</p>
<p>Server8 - 3 of 3 replication failing</p>
<p>Server9 - all ok (only 1 replication)<br>
</p>
<p>Server10 - 1 of 1 replication failing</p>
<br>
<blockquote type="cite">
<p><br>
</p>
<p>last update status: -1 Incremental update has failed and requires administrator actionLDAP error: Can't contact LDAP server
<br>
</p>
</blockquote>
<span style="text-decoration: underline;">what is in the error log of directory server ? Identify one broken replication connection and check both supplier and consumer side</span><br>
<br>
This is the one i see more often:<br>
<br>
attrlist_replace - attr_replace (nsslapd-referral, ldap://server.domain.local:389/o%3Dipaca) failed.<br>
<br>
Connection seems fine both side<br>
<br>
I saw this but i am not sure i understand what to look for<br>
<br>
<a href="https://www.redhat.com/archives/freeipa-users/2016-May/msg00043.html">https://www.redhat.com/archives/freeipa-users/2016-May/msg00043.html</a><br>
<br>
ldapsearch -ZZ -h server.domain.local -D "cn=Directory Manager" -W -b "o=ipaca" "(&(objectclass=nstombstone)(nsUniqueId=ffffffff-ffffffff-ffffffff-ffffffff))" | grep "nsds50ruv\|nsDS5ReplicaId"<br>
<br>
nsDS5ReplicaId: 66<br>
nsds50ruv: {replicageneration} 56d0badb000000600000<br>
nsds50ruv: {replica 66 ldap://server2.domain.local:389} 56e85e4600<br>
nsds50ruv: {replica 96 ldap://server3.domain.local:389} 56d0bae10 <br>
nsds50ruv: {replica 71 ldap://server2.domain.local:389} 56e857a000<br>
nsds50ruv: {replica 76 ldap://server1.domain.local:389} 56e84f7f00<br>
nsds50ruv: {replica 81 ldap://server5.domain.local:389} 56e31c930 <br>
nsds50ruv: {replica 86 ldap://server8.domain.local:389} 56e313230 <br>
nsds50ruv: {replica 91 ldap://server8.domain.local:389} 56d8a2b00 <br>
nsds50ruv: {replica 97 ldap://server6.domain.local:389} 56d0bb000 <br>
nsds50ruv: {replica 61 ldap://server7.domain.local:389} 56f190110 <br>
nsds50ruv: {replica 1095 ldap://server9.domain.local:389} 572a48e7000<br>
nsds50ruv: {replica 1090 ldap://server9.domain.local:389} 572a582f000<br>
nsds50ruv: {replica 1085 ldap://server9.domain.local:389} 572b4af6000<br>
nsds50ruv: {replica 56 ldap://server9.domain.local:389} 57333a4900000<br>
nsds50ruv: {replica 1080 ldap://server10.domain.local:389} 5733810500<br>
<br>
<br>
The others errors i saw were:<br>
<br>
NSMMReplicationPlugin - agmt="cn=meToserver1.domain.local" (server1:389): Warning: unable to send endReplication extended operation (Can't contact LDAP server)<br>
<br>
NSMMReplicationPlugin - process_postop: Failed to apply update (579fa2a4000000060000) error (-1).  Aborting replication session(conn=23243 op=6)<br>
<br>
<blockquote type="cite">Then setup contains about 10 ipa servers in 5 different locations.<br>
<p><br>
</p>
<p>But i went and ran an ipa-replica-conncheck i get this:</p>
<p><br>
</p>
<p># ipa-replica-conncheck --replica server.domain.local<br>
Check connection from master to remote replica 'server.domain.local':<br>
   Directory Service: Unsecure port (389): OK<br>
   Directory Service: Secure port (636): OK<br>
   Kerberos KDC: TCP (88): OK<br>
   Kerberos KDC: UDP (88): WARNING<br>
   Kerberos Kpasswd: TCP (464): OK<br>
   Kerberos Kpasswd: UDP (464): WARNING<br>
   HTTP Server: Unsecure port (80): OK<br>
   HTTP Server: Secure port (443): OK<br>
The following UDP ports could not be verified as open: 88, 464<br>
This can happen if they are already bound to an application<br>
and ipa-replica-conncheck cannot attach own UDP responder.<br>
<br>
Connection from master to replica is OK.</p>
<p><br>
</p>
<p><br>
</p>
<p>I even ran the following without issue:</p>
<dl><dd><tt># kinit -kt /etc/dirsrv/ds.keytab ldap/`hostname`</tt> </dd><dd><tt># klist</tt> </dd><dd><tt># ldapsearch -Y GSSAPI -h `hostname` -b "" -s base</tt> </dd><dd><tt># ldapsearch -Y GSSAPI -h the.other.master.fqdn -b "" -s base</tt> </dd></dl>
<p>Not really sure what to check for next?</p>
<p>Any hint?</p>
<p><br>
</p>
<p>Thanks</p>
<p>Louis Francoeur<br>
</p>
<div id="Signature">
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<style type="text/css" style="">
<!--
p
        {margin-top:0;
        margin-bottom:0}
-->
</style></div>
</div>
</div>
<br>
<fieldset class="mimeAttachmentHeader"></fieldset> <br>
</blockquote>
<br>
</div>
</div>
</div>
</div>
</body>
</html>