Fullständig synkronisering av delade mappar, kontakter, kalender mellan distribuerade servrar Kerio Connect

God dag, Habr!

Uppgift

I min organisation använder vi en e-postserver på plattformen Kerio Connect, i olika städer är e-postservrar installerade som betjänar sina användare. Det fanns från början ingen distribuerad struktur, eftersom domänerna skilde sig åt på tredje nivån med angivelse av staden för platsen. Allt fungerade och alla var nöjda. En vacker dag satte ledningen upp uppgiften: en gemensam kalender för alla platser!

Bakgrund

Ursprungligen var idén att skapa en distribuerad e-postdomän med Kerio och den skulle klara allt på egen hand. Sagt och gjort, den distribuerade domänen skapades, men det blev inte som förväntat; servern var redo att synkronisera kalendrar, mappar, kontakter — mellan domäner på samma server, men hade ingen avsikt att synkronisera data mellan flera servrar.

Jag förväntade mig så klart inte en sådan fälla och kunde länge inte tro på avsaknaden av den funktionalitet jag behövde. Senare hittade jag dokumentation som bekräftade denna fakta. Jag blev mycket tankfull och besviken.

Uppgiften flöt smidigt över till ett problem.

Vilka alternativ fanns?

• Att skapa två klienter på olika servrar som genom något tredjepartsprogram utbytte nödvändig data. Jag behövde hitta detta tredjepartsprogram som skulle förverkliga denna funktionalitet – jag gillar inte sådana fallgropar, men det verkade vara den enda snabba lösningen.
• Att skriva ett eget skript för att synkronisera data mellan servrar. Grejen är att Kerio lagrar varje objekt som en separat fil, så det krävdes att utveckla ett skript för att hantera filer, men med tanke på det tillräckliga antalet källor verkade uppgiften något komplex, särskilt eftersom det behövdes flera kontroller av datakorrekthet, ifall någon skapade en uppgift vid samma tidpunkt och så vidare.

Som en förhandssyn säger jag att Kerio, även om det lagrar objekt som separata filer, ändå inte är så dum att fråga varje gång ett objekt anropas — hur står det till med filsystemet.

Efter att ha ägnat mycket tid åt eftertanke och ritat en massa papper med planer för "att ta över fiendens territorium", tog jag vid sjätte timmen två korrekta beslut:

• Det första beslutet – att göra mitt eget och inte leta efter något extern.
• Det andra beslutet – att gå och lägga mig.

Redan på morgonen vaknade jag med en enda tankegång som kondenserades till några bokstäver – DFS

Lösning

Själva lösningen såg ut som följande

• för att föra alla servrar som skulle delta i synkroniseringen till OS Windows. (En del var på Linux. migrering av e-postdata till ett annat OS krävdes)
• Bestämma katalogstrukturen för de mappar som ska delta i synkroniseringen – de måste vara identiska.
• Definiera alla e-postservrar under en domän med ett enhetligt DFS-utrymme.
• Skapa den ovan nämnda distribuerade domänen Kerio, eftersom det i mitt fall krävs synkronisering av data inte bara mellan servrar utan även mellan domäner, vilket den andra kan hantera av Kerio-servern själv. (till skillnad från den första)
• Rikta de synkroniserade katalogerna mot DFS-utrymmet.
• Tänka ut någon form av nödlösning (för utan nödlösningar går det inte)

Implementering

Exempel på två e-postservrar (kan vara fler)

1. Kerio distribuerad domän

Master deltar inte i synkroniseringen, men det är inget obligatoriskt krav.

Jag kommer inte att gå in på hur man sätter upp en distribuerad domän Kerio, det är inget komplicerat, man kan läsa officiell manual

I slutändan ska ni i administrationspanelen se följande bild:

Därefter var jag intresserad av gemensamma mappar, på Master-servern kan följande alternativ anges:

Speciellt för varje domän — servern kommer inte att synkronisera offentliga mappar mellan domänerna

Gemensamma för alla domäner — alla servrar kommer att avstå från befintliga gemensamma mappar i varje domän och skapa nya gemensamma mappar för alla domäner på varje e-postserver.

Varning! Detta alternativ ändrar även om konfigurationen på alla servrar, synkroniseringen sker separat från varje server (det vill säga – utan ett gemensamt utrymme)

Administratören kvarstår möjlighet att fördela åtkomster mellan användarna.
i mitt fall – alla mina och jag behöver fullständig synkronisering (i ert fall kan lösningen vara annan) på varje server måste identiska domänuppsättningar skapats som ska synkroniseras.

2. Kerio datakataloger

Nu är det nödvändigt att skapa identiska gemensamma kataloger som ska synkroniseras på varje av servrarna. Mappar, Kalendrar, Kontakter.

Tips – create directories in English; if you create them in Latin script, the directory will have a name in an incomprehensible encoding, which is at least inconvenient.

Now it is necessary to find the physical paths of the mail folders on each server.

Gemensamma för alla domäner ~DataMailmail#publicSynchronized directory#msgs
Speciellt för varje domän ~DataMailmail**Domain**#publicSynchronized directory#msgs

Please note that we will synchronize not the entire directory, but only the container with the data. #msgs — here the actual objects are stored, all other data for each of the servers must be individual.

3. DFS

I won't go into detail about how to configure DFS, as there is enough information on this issue.

DFS is a role service in Windows Server that allows for the consolidation of shared folders located on different servers.
Link to the MS DFS document

Before configuring DFS, all mail servers involved in data synchronization must be stopped.

Upon completion of the setup, you should see the following for each of the synchronized folders.

Naturally, we do not need to publish the replicated folders.

After replication occurs (and there isn’t much to replicate—the folders are empty), the mail servers can be restarted.

Next, you can fill one of the mail servers with data and check if the data replicates correctly.

4. Workaround

Thought process description

As you can see, after the data started synchronizing (DFS), if you create anything on the first server—nothing appears on the second server, or it appears inconsistently.

Do not despair, it will eventually appear, but it’s better sooner than later; late means within 6 to 12 hours.

The thing is, as soon as you create something on the first server, the file on the second and subsequent servers will indeed appear immediately due to the DFS system; however, if the mail folder has been read earlier by someone and is requested again, the server will not re-read the #msgs folder but will spit out data from its own index, which may no longer correspond to our reality.

Kerio har en mekanism för att läsa om indexet, men det kan ta upp till sex timmar, och under dessa sex timmar kan relevansen av uppgiften i kalendern ha förlorats något.
För att kontrollera synkroniseringens funktion just nu kan man ta bort index.fld-filen i den relevanta synkroniserade katalogen, efter att man har återgått till mappen på e-postservern. Om denna fil inte finns kommer Kerio att läsa om katalogen och informationen kommer att dyka upp. Det verkar som en lösning – ta bort filen vid dat förändring, men detta fungerar inte varje gång, utan bara första gången, därefter tycks Kerio förlora intresset för index.fld.
Och så börjar det spottas ut oförståeliga meddelanden för användaren – om något index och vad det gör.

Det finns även alternativet att skapa något – vid skapandet av ett nytt objekt inser servern plötsligt att filnamnet den ville ge redan är upptaget, men här är det som en snöboll och ett dödläge.

Vad ska man då göra?

Om vi tittar en gång till på den bekanta bilden.

Men i en annan dimension kan vi se en mycket intressant och nödvändig knapp för oss just nu – Reindexera mappar

Och det är sant. Om man trycker på denna knapp på e-postservern som inte vet att något har förändrats i den synkroniserade #msgs, får vi ett stabilt och snabbt resultat. Allt dolt blir tydligt.

I loggen kan man se hur länge denna process tar, i mitt fall med flera tusen (15 000) poster tar det omkring 3-4 minuter.

Det gäller bara att komma på hur man faktiskt trycker på denna knapp när vi behöver det.

Det visar sig att Kerio har sin egen API

Beskrivning
Dokumentation

funktion som utför vår uppgift, och den ser ut så här –
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

Utifrån allt ovanstående behöver vi skriva ett skript som övervakar tillståndet för de intressanta mapparna och i det fall något har förändrats utför vår nödvändiga funktion.

Jag vill säga att jag skrivit flera olika versioner av skript som utför olika kontroller, och jag stannade vid den som baserar alla resultat på antalet filer.

Genomförande av skriptet

Exempel på CMD-skript och beskrivning

Re-index.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%LOG"
md "%Setup"

ECHO -Start- >> "%LOG%Computername%.log"
ECHO Start -> %Computername% te% %Time% >> "%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%Setup%Computername%.List") do (
 set /a c+=1
 set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%LOG%Computername%.log"
ECHO.
ECHO. >> "%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!&& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count te% %Time% - Delete !m%id%! >> "%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - te% %Time% --- >> "%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

En kopia av skriptet körs på varje e-postserver (kan köras som en tjänst, administrativa rättigheter krävs inte)

Skriptet läser filen Setup%Computername%.List

Där %Computername% är namnet på den aktuella servern (mappen kan innehålla listor för alla servrar.)

Filen %Computername%.List innehåller fullständiga sökvägar för de synkroniserade mapparna, varje sökväg är skriven på en ny rad, och den ska inte innehålla tomma rader.

Efter första körningen kommer skriptet att genomföra en indexeringsprocedur, oavsett om det är nödvändigt eller inte, och skriptet skapar också en index över antalet filer i varje av de synkroniserade mapparna.

Målsättningen med skriptet är att räkna alla filer i den angivna mappen.

När räkningen av varje mapp är klar, om minst ett av värdena för filer i den aktuella mappen inte stämmer överens med det tidigare, raderar skriptet filer från rotmappen för den synkroniserade e-postkatalogen: index.fld, indexlog.fld, search.fld och startar indexeringsprocessen för de gemensamma e-postmapparna.

Information om uppgifternas genomförande lagras i LOG-mappen.

Indexeringsprocessen
Indexeringsprocessen innebär att man anropar API-funktionen Kerio
Session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

Exempelkod ges i python
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie-lagring är nödvändig för sessionshantering """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Värdnamn eller IP-adress till din Kerio Control-instans med protokoll, port och autentiseringsuppgifter """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Anropar en given metod på distans med angivna parametrar.
    :param: method sträng med fullständigt kvalificerat metodnamn
    :param: params dict med parametrar för den anropade metoden
    :param: token CSRF-token krävs alltid utom vid inloggning. Använd metoden "Session.login" för att få denna token.
    """
    data = {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 du kan låta det vara som det är, men om du behöver HTTPS måste python lita på Kerio-certifikatet.

I filen måste även ett konto anges med behörighet att utföra denna funktion (Admin – allmänna e-postmappar) på e-postservern.

Jag hoppas att min artikel kommer att vara nyttig för administratörer av Kerio Connect.

Källa: habr.com