Пълна синхронизация на споделени папки, контакти, календари между разпределени Kerio Connect сървъри

Добър ден, Хабр!

Задача

Моята организация използва пощенски сървър на платформата Kerio Connect; пощенските сървъри са инсталирани в различни градове, за да обслужват своите потребители. Първоначално нямаше разпределена структура, тъй като домейните се различават на трето ниво, което показва града на сайта. Всичко работеше и всички бяха доволни. В един прекрасен ден ръководството постави задача, общ календар на дейностите между всички обекти!

праистория

Първоначално идеята беше да се създаде Kerio Distributed Mail Domain и той да направи всичко сам. Казано – направено, беше създаден разпределен домейн, но това не беше така, сървърът беше готов да синхронизира календари, папки, контакти – между домейни, разположени на един и същ сървър, но изобщо нямаше да синхронизира данни между няколко сървъри.

Аз, разбира се, не очаквах такъв улов и дълго време не можех да повярвам, че функционалността, от която се нуждаех, липсва. По-късно намерих документални доказателства за този факт. Бях много озадачен и разочарован от това.

Задачата плавно се превърна в проблем.

Какви бяха вариантите?

• Създайте два клиента на различни сървъри, които обменят необходимите данни със софтуер на трета страна. Беше необходимо да се намери този софтуер на трета страна, който да реализира тази функционалност - не харесвам такъв рейк, но изглеждаше, че това е единственото бързо решение.
• Напишете свой собствен скрипт за синхронизиране на данни между сървърите. Факт е, че Kerio съхранява всеки обект като отделен файл, така че беше необходимо да се разработи скрипт за работа с файлове, но с оглед на достатъчния брой източници, задачата изглеждаше малко сложна, особено след като беше необходимо да се изпълнят множество проверява коректността на данните, ако някой създаде задача в същия период от време и т.н., и т.н.

Гледайки напред, ще кажа, че въпреки че Kerio съхранява обект като отделен файл, не е толкова глупаво да питате как се справя файловата система всеки път, когато получите достъп до обекта.

След като прекарах много време в мислене, съставяне на куп листове хартия с планове за „завземане на вражеска територия“, в 6 часа взех две правилни решения:

• Първото решение е да се занимавате сами и да не търсите нищо отвън.
• Второто решение е да заспим.

Още на сутринта се събудих с една единствена и вярна мисъл, сведена до няколко букви - DFS

Решение

Самото решение изглеждаше така

• пренесете всички сървъри, които ще участват в синхронизацията, към OS Windows. (Част от него беше на Linux. Беше необходимо мигриране на пощенски данни към друга операционна система)
• Определете структурата на директориите, които ще участват в синхронизацията - те трябва да са идентични.
• Дефинирайте всички пощенски сървъри под един домейн с едно DFS пространство.
• Създайте гореспоменатия разпределен Kerio домейн, тъй като в моя случай е необходима синхронизация на данните не само между сървъри, но и между домейни; вторият може да се обработва независимо от Kerio сървъра. (за разлика от първия)
• Задайте синхронизирани директории на DFS пространство.
• Измислете някаква патерица (в края на краищата не можете да живеете без патерица)

Изпълнение

Пример за два пощенски сървъра (може и повече)

1. Kerio Разпределен домейн

Учителят не участва в синхронизацията, но това не е задължително условие.

Няма да описвам как да издигна разпределен домейн Kerio, няма нищо сложно в това, можете да изучавате официалния manul

В крайна сметка трябва да видите следното изображение в административната конзола:

След това се интересувах от споделени папки; на главния сървър можете да посочите следните опции:

Специфично за всеки домейн - сървърът няма да синхронизира публични папки между домейни

Общи за всички домейни - всички сървъри ще изоставят съществуващите публични папки във всеки домейн и ще създадат нови единични папки за всички домейни на всеки пощенски сървър.

Внимание! Въпреки че тази опция променя политиката за конфигурация на всички сървъри, тя се синхронизира отделно от всеки сървър (тоест без едно общо пространство)

Администраторът все още ще има възможността да разпределя достъпа между потребителите.
в моя случай те всички са мои и имам нужда от пълна синхронизация (Във вашия случай решението може да е различно) на всеки сървър трябва да създадете идентични набори от домейни, които трябва да бъдат синхронизирани.

2. Керио директории с данни

Сега трябва да създадете идентични споделени директории, които трябва да се синхронизират на всеки от сървърите. Папки, календари, контакти.

Съвет - създайте директории на английски, ако ги създадете на латиница, директорията ще има име в някакво неразбираемо кодиране, това е най-малкото неудобно.

Сега трябва да намерите физическите пътища на пощенските папки на всеки сървър.

Общи за всички домейни ~DataMailmail#publicСинхронизируемый каталог#msgs
Специфично за всеки домейн ~DataMailmail**Domain**#publicСинхронизируемый каталог#msgs

Моля, обърнете внимание, че няма да синхронизираме цялата директория, а само контейнера с данните #съобщения — самите обекти се съхраняват тук, всички други данни трябва да са отделни за всеки сървър.

3.DFS

Няма да описвам подробно как да конфигурирам DFS, има достатъчно информация по този въпрос.

DFS е ролева услуга в Windows Server, която предоставя възможност за комбиниране на споделени папки, разположени на различни сървъри
Връзка към MS DFS документ

Преди да настроите DFS, трябва да спрете всички пощенски сървъри, които ще участват в синхронизирането на данни.

След завършване на настройката трябва да получите следното изображение за всяка от синхронизираните папки

Естествено, не е необходимо да публикуваме репликирани папки.

След като възникне репликация (а там няма нищо специално за репликация - папките са празни), пощенските сървъри могат да бъдат стартирани.

След това можете да попълните един от пощенските сървъри с данни и да проверите дали данните се копират правилно.

4. Патерица

Описание на отражението

Както можете да видите, след като данните започнат да се синхронизират (DFS), ако или сте създали нещо на първия сървър, по някакъв начин нищо не се появява на втория сървър, или се появява, но по някакъв начин не винаги.

Не се отчайвайте, разбира се, рано или късно ще се появи там, но по-добре по-рано, отколкото по-късно. Защото е късно след 6-12 часа.

Работата е там, че веднага щом създадете нещо на първия сървър, на втория и следващите сървъри файлът, разбира се, веднага ще се появи благодарение на системата DFS, но в случай, че тази пощенска директория вече е била прочетена от някой преди и се поиска отново, сървърът няма да прочете отново папката #msgs, а ще изхвърли данни от собствения си индекс, които може вече да не отговарят на нашата реалност.

Kerio има механизъм за повторно четене на индекса, но може да работи за около шест часа и през тези 6 часа уместността на задачата в календара може донякъде да се загуби.
За да тествате синхронизацията точно сега, можете да изтриете файла в съответната синхронизирана директория index.fld, след повторен достъп до папката на мейл сървъра и ако този файл липсва, Kerio ще прочете отново директорията и данните ще се появи. Изглежда, че това е решението, изтрийте файла, когато данните се променят, но това не работи всеки път, а само първия път, тогава Kerio по някаква причина губи всякакъв интерес към index.fld
Освен това започва да бълва неразбираеми за потребителя съобщения - за някакъв индекс и че вече прави нещо там.

Има и друг вариант, да създадеш нещо - в момента на създаване на нов обект, сървърът изведнъж осъзнава, че името на файла, което е искал да зададе, вече е заето, но го прави снежна топка и това е безизходица.

Как е възможно това?

Ако още веднъж обърнем внимание на вече познатата ни картина.

Но на друга равнина можете да видите много интересен бутон, от който се нуждаем сега - Повторно индексиране на папки

И наистина. Ако щракнем върху този бутон на пощенски сървър, който не знае, че нещо вече е променено в синхронизираните #msgs, ще получим стабилен, бърз резултат. Всичко скрито ще стане ясно.

В лога можете да видите колко време отнема този процес, в моя случай с няколко хиляди (15 хиляди) записа отнема около 3-4 минути.

Всичко, което трябва да направим, е да разберем как всъщност да натиснем този бутон, когато имаме нужда от него.

Оказва се Керио имат свои собствени API

описание
Документация

Функцията, която изпълнява нашата задача, изглежда така:
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

От всичко по-горе трябва да напишем скрипт, който да следи състоянието на интересуващите ни папки и, ако нещо се е променило, да изпълнява функцията, от която се нуждаем.

Искам да кажа, че написах няколко различни версии на скриптове, които извършват различни проверки, и се спрях на този, който прави всички заключения въз основа на броя на файловете.

Изпълнение на скрипт

Пример и описание на CMD скрипт

Повторно индексиране.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%CD%LOG"
md "%CD%Setup"

ECHO -Start- >> "%CD%LOG%Computername%.log"
ECHO Start -> %Computername% %Date% %Time% >> "%CD%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%CD%Setup%Computername%.List") do (
  set /a c+=1
  set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%CD%LOG%Computername%.log"
ECHO.
ECHO. >> "%CD%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count        [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count %Date% %Time% - Delete !m%id%! >> "%CD%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%CD%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - %Date% %Time% --- >> "%CD%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%CD%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

Копие на скрипта се изпълнява на всеки пощенски сървър (може да се използва като услуга, не са необходими администраторски права)

Скриптът чете файла Setup%Computername%.List

Където %Computername% е името на текущия сървър (Директорията може да съдържа списъци на всички сървъри наведнъж.)

Файлът %Computername%.List – съдържа пълните пътища на синхронизираните директории, като всеки път се изписва на нов ред и не трябва да съдържа празни редове.

След първото стартиране скриптът извършва процедурата по индексиране, независимо дали е необходима или не, като също така скриптът създава индекс на броя на файловете във всяка синхронизирана директория.

Целта на скрипта е да преброи всички файлове в указаната директория.

В края на преброяването на всяка директория, ако в поне една директория текущата стойност на файловете не съвпада с предишната, скриптът изтрива файлове от главната директория на директорията за синхронизирана поща: index.fld, indexlog.fld, search.fld и стартира процеса на индексиране на споделени пощенски папки.

Информацията за изпълнението на задачата се изхвърля в директорията LOG.

Процес на индексиране
Процесът на индексиране се свежда до изпълнение на Kerio API функция
Сесия = callMethod("Domains.checkPublicFoldersIntegrity",{}, токен)

Примерна реализация е дадена в – python
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie storage is necessary for session handling """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname or ip address of your Kerio Control instance with protocol, port and credentials """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Remotely calls given method with given params.
    :param: method string with fully qualified method name
    :param: params dict with parameters of remotely called method
    :param: token CSRF token is always required except login method. Use method "Session.login" to obtain this token.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 можете да го оставите както е, но ако имате нужда от HTTPS, python трябва да се довери на сертификата Kerio.

Също така във файла трябва да посочите акаунт с права за изпълнение на тази функция (Adm - публични пощенски папки) на пощенския сървър.

Надявам се, че моята статия ще бъде полезна за администраторите на Kerio Connect.

Източник: www.habr.com