Vollständige Synchronisierung gemeinsamer Ordner, Kontakte und Kalender zwischen verteilten Kerio Connect-Servern

Guten Tag, Habr!

Aufgabe

In meiner Organisation verwenden wir einen E-Mail-Server auf der Kerio Connect-Plattform. In verschiedenen Städten sind E-Mail-Server installiert, die ihre eigenen Benutzer bedienen. Eine verteilte Struktur gab es ursprünglich nicht, da die Domains auf der dritten Ebene mit dem Stadtnamen der Plattform gekennzeichnet sind. Alles funktionierte und alle waren zufrieden. Eines Tages stellte das Management die Aufgabe, einen gemeinsamen Kalender für alle Standorte einzurichten!

Vorgeschichte

Ursprünglich war die Idee, eine verteilte Kerio-E-Mail-Domain einzurichten, die alles selbst erledigt. Gesagt, getan, die verteilte Domain wurde eingerichtet, aber das war nicht alles. Der Server war bereit, Kalender, Ordner und Kontakte zwischen Domains zu synchronisieren, die sich auf demselben Server befinden, wollte jedoch die Daten zwischen mehreren Servern nicht synchronisieren.

So eine Wendung habe ich natürlich nicht erwartet und konnte lange nicht glauben, dass mir die benötigte Funktionalität fehlt. Später fand ich dokumentarische Bestätigungen für diese Tatsache, was mich sehr beunruhigte und enttäuschte.

Die Aufgabe verwandelte sich allmählich in ein Problem.

Welche Optionen gab es?

• Zwei Clients auf unterschiedlichen Servern zu erstellen, die mit irgendeiner Drittanbieter-Software die notwendigen Daten austauschten. Ich musste diese Drittanbieter-Software finden, die diese Funktionalität umsetzen konnte – ich mag solche Hürden nicht, aber es schien, als wäre es die einzige schnelle Lösung.
• Mein eigenes Synchronisationsskript zwischen Servern zu schreiben. Das Problem ist, dass Kerio jedes Objekt als separate Datei speichert. Daher war es notwendig, ein Skript zur Arbeit mit Dateien zu entwickeln. Aufgrund der ausreichenden Anzahl an Quellen schien die Aufgabe etwas kompliziert, besonders da ich mehrere Überprüfungen der Datenintegrität durchführen musste: Was wäre, wenn jemand zur gleichen Zeit eine Aufgabe erstellt usw.

Um es vorwegzunehmen, Kerio speichert zwar Objekte als separate Dateien, es ist jedoch nicht so dumm, bei jedem Zugriff auf ein Objekt zu fragen – wie steht's um das Dateisystem?

Nachdem ich viel Zeit mit Nachdenken verbracht und eine Menge Papier mit Plänen zur "Eroberung des feindlichen Gebiets" vollgeschrieben hatte, traf ich um 6 Uhr zwei richtige Entscheidungen:

• Die erste Lösung ist, selbst zu machen und nichts Fremdes zu suchen.
• Die zweite Lösung ist, ins Bett zu gehen.

Am Morgen wachte ich mit einem einzigen und sicheren Gedanken auf, der auf wenige Buchstaben schrumpfte – DFS

Lösung

Die Lösung sah folgendermaßen aus

• alle Server, die an der Synchronisierung teilnehmen, auf das Betriebssystem Windows zu bringen. (Ein Teil war auf Linux. Eine Migration der E-Mail-Daten auf ein anderes Betriebssystem war erforderlich.)
• Sich über die Verzeichnisstruktur zu einigen, die an der Synchronisierung teilnehmen wird – sie müssen identisch sein.
• Alle Mailserver unter einer Domain mit einem einheitlichen DFS-Speicherplatz zu definieren.
• Den oben genannten verteilten Kerio-Domain zu erstellen, da in meinem Fall eine Datensynchronisierung nicht nur zwischen Servern, sondern auch zwischen Domains erforderlich ist, was der Kerio-Server selbst übernehmen kann. (im Gegensatz zum ersten)
• Die zu synchronisierenden Verzeichnisse auf den DFS-Speicherplatz zu lenken.
• Irgendeinen Trick zu erfinden (denn ohne Trick geht es nicht)

Implementierung

Beispiel auf zwei Mailservern (kann mehr sein)

1. Kerio verteilte Domain

Der Master nimmt nicht an der Synchronisierung teil, aber das ist keine zwingende Voraussetzung.

Ich werde nicht erklären, wie man eine verteilte Kerio-Domain aufbaut, das ist nicht schwierig, man kann das Offizielle studieren. Handbuch

Am Ende sollten Sie in der Administrationskonsole das folgende Bild sehen:

Dann interessierten mich die gemeinsamen Ordner, auf dem Master-Server können die folgenden Optionen angegeben werden:

Besonderer Ordner für jede Domain – der Server wird die öffentlichen Ordner zwischen den Domains nicht synchronisieren

Gemeinsame Ordner für alle Domains – alle Server werden die bestehenden gemeinsamen Ordner in jeder Domain ablehnen und neue einheitliche Ordner für alle Domains auf jedem Mailserver erstellen.

Achtung! Diese Option ändert zwar die Richtlinien für die Einstellungen auf allen Servern, jedoch erfolgt die Synchronisierung separat von jedem Server (das heißt – ohne einen einheitlichen Speicherplatz).

Dem Administrator bleibt die Möglichkeit, die Zugriffe zwischen den Benutzern zu verteilen.
In meinem Fall – alles eigene und ich benötige eine vollständige Synchronisierung (In Ihrem Fall kann die Lösung anders sein), auf jedem Server müssen identische Sets von Domains erstellt werden, die synchronisiert werden sollen.

2. Datenverzeichnisse Kerio

Jetzt müssen identische gemeinsame Verzeichnisse erstellt werden, die auf jedem der Server synchronisiert werden müssen. Ordner, Kalender, Kontakte.

Tipp – erstellen Sie Verzeichnisse in englischer Sprache. Wenn Sie sie in lateinischer Schrift erstellen, wird das Verzeichnis einen Namen in einer unverständlichen Kodierung haben, was mindestens unpraktisch ist.

Jetzt müssen die physischen Pfade der Mail-Verzeichnisse auf jedem Server gefunden werden.

Gemeinsame Ordner für alle Domains ~DataMailmail#publicSynchronisierbares Verzeichnis#msgs
Besonderer Ordner für jede Domain ~DataMailmail**Domain**#publicSynchronisierbares Verzeichnis#msgs

Bitte beachten Sie, dass wir nicht das gesamte Verzeichnis synchronisieren werden, sondern nur den Container mit den Daten. #msgs — hier werden die Objekte selbst gespeichert, alle anderen Daten für jeden der Server müssen separat sein.

3. DFS

Wie man DFS einrichtet, werde ich auch nicht detailliert beschreiben, es gibt ausreichend Informationen zu diesem Thema.

DFS ist ein Serverrollen-Service in Windows Server, der die Möglichkeit bietet, gemeinsame Ordner, die sich auf verschiedenen Servern befinden, zusammenzuführen.
Link zum MS DFS-Dokument

Vor der Konfiguration von DFS müssen alle Mailserver, die an der Synchronisierung der Daten teilnehmen, gestoppt werden.

Nach Abschluss der Konfiguration sollten Sie das folgende Bild für jedes der synchronisierten Verzeichnisse erhalten.

Es ist natürlich nicht erforderlich, replizierbare Ordner zu veröffentlichen.

Nachdem die Replikation stattgefunden hat (und es gibt nicht viel zu replizieren – die Ordner sind leer), können die Mailserver gestartet werden.

Danach kann einer der Mailserver mit Daten gefüllt werden, um zu überprüfen, ob die Daten korrekt repliziert werden.

4. Notlösung

Beschreibung des Nachdenkens

Wie Sie sehen können, nachdem die Daten mit DFS synchronisiert wurden, wenn Sie etwas auf dem ersten Server erstellt haben – auf dem zweiten Server erscheint nichts oder erscheint manchmal nicht.

Verzweifeln Sie nicht, es wird natürlich früher oder später erscheinen, aber früh ist besser als spät. Denn spät ist in 6 – 12 Stunden.

Es liegt daran, dass, sobald Sie etwas auf dem ersten Server erstellt haben, die Datei natürlich sofort auf dem zweiten und nachfolgenden Server dank des DFS-Systems erscheint. Wenn jedoch das entsprechende Postverzeichnis bereits von jemandem zuvor gelesen wurde und erneut angefordert wird, wird der Server den Ordner #msgs nicht erneut lesen, sondern die Daten aus seinem eigenen Index abrufen, der möglicherweise schon lange nicht mehr unserer Realität entspricht.

Kerio verfügt über einen Mechanismus zur Neulese des Index, aber dieser kann erst nach etwa sechs Stunden wirken, wobei in diesen 6 Stunden die Aktualität der Aufgabe im Kalender möglicherweise etwas verloren geht.
Um die Funktionalität der Synchronisierung jetzt sofort zu überprüfen, können Sie die Datei im entsprechenden synchronisierten Verzeichnis index.fld löschen. Nach erneutem Zugriff auf den Ordner auf dem Mailserver wird Kerio, wenn diese Datei fehlt, das Verzeichnis erneut einlesen und die Daten erscheinen. Es schien, als wäre das die Lösung: Löschen Sie die Datei bei Datenänderungen, aber das funktioniert nicht jedes Mal, sondern nur beim ersten Mal. Danach verliert Kerio irgendwie das Interesse an index.fld.
Und es beginnt auch, unverständliche Nachrichten für den Benutzer auszugeben – über einen bestimmten Index und dass er dort bereits etwas tut.

Es gibt auch die Möglichkeit, etwas zu erstellen – in dem Moment, in dem ein neues Objekt erstellt wird, könnte der Server plötzlich bemerken, dass der Dateiname, den er zuweisen wollte, bereits vergeben ist, aber das führt zu einem Schneeballeffekt und ist eine Sackgasse.

Was soll man also tun?

Wenn wir uns noch einmal das bereits bekannte Bild ansehen.

Aber aus einer anderen Perspektive können wir einen sehr interessanten und für uns jetzt wichtigen Knopf bemerken – Ordner neu indizieren

Und tatsächlich. Wenn Sie diesen Knopf auf dem Mailserver drücken, der nicht weiß, dass sich bereits etwas im synchronisierten #msgs geändert hat, erhalten wir ein stabiles, schnelles Ergebnis. Alles Verborgene wird offensichtlich.

Im Protokoll kann man sehen, wie lange dieser Prozess dauert. In meinem Fall mit mehreren Tausend (15.000) Einträgen dauert das etwa 3-4 Minuten.

Es bleibt nur zu überlegen, wie man tatsächlich auf diesen Knopf drücken kann, wann immer wir es brauchen.

Es stellt sich heraus, dass Kerio eine eigene API

Beschreibung
Dokumentation

Funktion hat, die unsere Aufgabe erfüllt, sieht folgendermaßen aus –
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

Aus allem Vorstehenden müssen wir ein Skript schreiben, das den Zustand der interessierenden Ordner überwacht und, falls sich etwas ändert, die gewünschte Funktion für uns ausführt.

Ich möchte sagen, dass ich mehrere verschiedene Versionen von Skripten geschrieben habe, die unterschiedliche Überprüfungen durchführen. Ich habe mich für das Skript entschieden, das alle Ausgaben basierend auf der Anzahl der Dateien erstellt.

Implementierung des Skripts

Beispielskript CMD und Beschreibung

Re-index.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%LOG"
md "%Setup"

ECHO -Start- >> "%LOG%Computername%.log"
ECHO Start -> %Computername% te% %Time% >> "%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%Setup%Computername%.List") do (
 set /a c+=1
 set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%LOG%Computername%.log"
ECHO.
ECHO. >> "%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!&& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count te% %Time% - Delete !m%id%! >> "%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - te% %Time% --- >> "%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

Eine Kopie des Skripts wird auf jedem Mailserver ausgeführt (kann als Dienst ausgeführt werden, Administratorrechte sind nicht erforderlich)

Das Skript liest die Datei Setup%Computername%.List

Wo %Computername% der Name des aktuellen Servers ist (das Verzeichnis kann Listen aller Server enthalten).

Die Datei %Computername%.List enthält die vollständigen Pfade der zu synchronisierenden Verzeichnisse, jeder Pfad wird in einer neuen Zeile aufgeführt, leere Zeilen sollten nicht enthalten sein.

Nach dem ersten Start führt das Skript den Indizierungsvorgang aus, unabhängig davon, ob dieser erforderlich ist oder nicht, und erstellt auch einen Index der Anzahl der Dateien in jedem der synchronisierten Verzeichnisse.

Die Aufgabe des Skripts besteht darin, alle Dateien im angegebenen Verzeichnis zu zählen.

Am Ende der Zählung jedes Verzeichnisses, wenn sich der aktuelle Wert der Dateien in mindestens einem Verzeichnis von dem vorherigen unterscheidet, löscht das Skript die Dateien aus dem Stammverzeichnis des synchronisierten Postfachverzeichnisses: index.fld, indexlog.fld, search.fld und initiiert den Indexierungsprozess – gemeinsamer Postfächer.

Im Verzeichnis LOG wird Informationen zu den ausgeführten Aufgaben abgelegt.

Indexierungsprozess
Der Indexierungsprozess besteht darin, die Kerio API-Funktion auszuführen
Session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

Ein Beispiel für die Ausführung wird auf – python bereitgestellt
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie-Speicher ist erforderlich für das Sitzungsmanagement """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname oder IP-Adresse Ihrer Kerio Control-Instanz mit Protokoll, Port und Anmeldedaten """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Ruft die angegebene Methode mit den angegebenen Parametern aus der Ferne auf.
    :param: method String mit dem vollständig qualifizierten Methodennamen
    :param: params dict mit Parametern der remote aufgerufenen Methode
    :param: token CSRF-Token ist immer erforderlich, außer bei der Anmeldemethode. Verwenden Sie die Methode "Session.login", um dieses Token zu erhalten.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 kann so bleiben, jedoch, wenn Sie HTTPS benötigen – python muss dem Zertifikat von Kerio vertrauen.

Im Datei muss auch ein Konto mit Rechten zur Ausführung dieser Funktion angegeben werden (Admin – gemeinsame Postfächer) des Mailservers.

Ich hoffe, mein Artikel wird den Administratoren von Kerio Connect nützlich sein.

Quelle: habr.com