분산된 Kerio Connect 서버 간 공유 폴더, 연락처, 달력의 전체 동기화

안녕하세요, 하브르!

태스크

우리 조직은 Kerio Connect 플랫폼의 메일 서버를 사용하는데, 메일 서버는 사용자에게 서비스를 제공하기 위해 여러 도시에 설치되어 있습니다. 처음에는 분산 구조가 없었습니다. 왜냐하면 도메인이 세 번째 수준에서 다르기 때문에 해당 사이트의 도시를 나타냅니다. 모든 것이 효과가 있었고 모두가 행복했습니다. 어느 화창한 날, 경영진은 모든 사이트 간의 공통 활동 일정인 작업을 설정했습니다!

선사 시대

처음에는 Kerio 분산 메일 도메인을 높이는 것이 아이디어였으며 모든 작업을 자체적으로 수행했습니다. 말하자마자 분산 도메인이 생성되었지만 그렇지 않았습니다. 서버는 동일한 서버에 있는 도메인 간에 캘린더, 폴더, 연락처를 동기화할 준비가 되었지만 여러 도메인 간에 데이터를 전혀 동기화하지 않았습니다. 서버.

물론 나는 그러한 캐치를 기대하지 않았으며 오랫동안 필요한 기능이 누락되었다는 것을 믿을 수 없었습니다. 나중에 나는 이 사실에 대한 기록적인 증거를 찾았습니다. 나는 이것에 대해 매우 당황하고 실망했습니다.

작업은 순조롭게 문제로 바뀌었습니다.

옵션은 무엇이었나요?

• 일부 타사 소프트웨어와 필요한 데이터를 교환하는 서로 다른 서버에 두 개의 클라이언트를 만듭니다. 이 기능을 구현하는 타사 소프트웨어를 찾아야 했습니다. 저는 그런 갈퀴를 좋아하지 않지만 이것이 유일한 빠른 솔루션인 것 같았습니다.
• 서버 간 데이터 동기화를 위한 스크립트를 직접 작성하세요. 사실 Kerio는 각 개체를 별도의 파일로 저장하므로 파일 작업을 위한 스크립트를 개발해야 했지만 소스 수가 충분하다는 점을 고려하면 특히 여러 작업을 수행해야 했기 때문에 작업이 다소 복잡해 보였습니다. 동일한 기간에 누군가가 작업을 생성한 경우 등의 경우 데이터의 정확성을 확인합니다.

앞으로는 Kerio가 객체를 별도의 파일로 저장하지만 객체에 접근할 때마다 파일 시스템이 어떻게 작동하는지 물어보는 것은 그렇게 어리석은 일은 아니라고 말씀드리겠습니다.

많은 시간을 생각하고 "적의 영토를 점령하려는"계획이 적힌 여러 장의 종이를 작성하면서 6시에 나는 두 가지 올바른 결정을 내 렸습니다.

• 첫 번째 결정은 자신의 일을 하고 외부에서 아무것도 찾지 않는 것입니다.
• 두 번째 해결책은 잠을 자는 것입니다.

이미 아침에 나는 단 하나의 진실된 생각으로 일어났는데, 그 생각은 몇 글자로 줄어들었습니다 - DFS

결정

솔루션 자체는 다음과 같습니다

• 동기화에 참여할 모든 서버를 OS Windows로 가져옵니다. (일부는 Linux에 있었습니다. 메일 데이터를 다른 OS로 마이그레이션해야 했습니다.)
• 동기화에 참여할 디렉터리의 구조를 결정합니다. 이들은 동일해야 합니다.
• 단일 DFS 공간을 사용하여 하나의 도메인 아래 모든 메일 서버를 정의합니다.
• 제 경우에는 서버 간뿐만 아니라 도메인 간 데이터 동기화가 필요하기 때문에 위에서 언급한 분산 Kerio 도메인을 생성합니다. 두 번째는 Kerio 서버에서 독립적으로 처리할 수 있습니다. (첫번째와는 다르게)
• 동기화된 디렉터리를 DFS 공간으로 설정합니다.
• 어떤 종류의 목발을 생각해 내십시오 (결국 목발 없이는 살 수 없습니다)

Реализация

두 개의 메일 서버에 대한 예(아마도 그 이상)

1. Kerio 분산 도메인

마스터는 동기화에 참여하지 않지만 이는 필수 조건은 아닙니다.

Kerio 분산 도메인을 높이는 방법은 설명하지 않겠습니다. 복잡한 것은 없습니다. 공식을 공부할 수 있습니다. 마눌

최종적으로 관리 콘솔에 다음 이미지가 표시됩니다.

다음으로 공유 폴더에 관심이 있었는데 마스터 서버에서 다음 옵션을 지정할 수 있습니다.

각 도메인에 대한 특정 - 서버는 도메인 간에 공용 폴더를 동기화하지 않습니다.

모든 도메인에 공통 - 모든 서버는 각 도메인의 기존 공용 폴더를 버리고 각 메일 서버의 모든 도메인에 대해 새로운 단일 폴더를 만듭니다.

경고! 이 옵션은 모든 서버의 구성 정책을 변경하지만 각 서버에서 별도로 동기화합니다(즉, 단일 공통 공간이 없음).

관리자는 여전히 사용자 간에 액세스를 분배할 수 있습니다.
내 경우에는 모두 내 것이고 각 서버에서 동기화가 필요한 동일한 도메인 세트를 생성해야 하는 전체 동기화가 필요합니다(귀하의 경우 솔루션이 다를 수 있음).

2. Kerio 데이터 디렉토리

이제 각 서버에서 동기화해야 하는 동일한 공유 디렉터리를 만들어야 합니다. 폴더, 달력, 연락처.

조언 - 영어로 디렉터리를 생성하세요. 라틴어로 디렉터리를 생성하면 디렉터리 이름이 이해할 수 없는 인코딩으로 표시됩니다. 이는 적어도 불편합니다.

이제 각 서버에서 메일 폴더의 실제 경로를 찾아야 합니다.

모든 도메인에 공통 ~DataMailmail#publicСинхронизируемый каталог#msgs
각 도메인에 대한 특정 ~DataMailmail**Domain**#publicСинхронизируемый каталог#msgs

전체 디렉터리를 동기화하지 않고 데이터가 있는 컨테이너만 동기화합니다. #msgs — 개체 자체는 여기에 저장되며 다른 모든 데이터는 각 서버마다 별도로 저장되어야 합니다.

3.DFS

DFS 구성 방법은 자세히 설명하지 않겠습니다. 이 문제에 대한 정보는 충분합니다.

DFS는 서로 다른 서버에 있는 공유 폴더를 결합하는 기능을 제공하는 Windows Server의 역할 서비스입니다.
MS DFS 문서 링크

DFS를 설정하기 전에 데이터 동기화에 참여할 모든 메일 서버를 중지해야 합니다.

설정이 완료되면 동기화된 각 폴더에 대해 다음 이미지를 받아야 합니다.

당연히 복제된 폴더를 게시할 필요는 없습니다.

복제가 발생한 후(복제할 특별한 항목이 없으며 폴더가 비어 있음) 메일 서버를 시작할 수 있습니다.

다음으로 메일 서버 중 하나를 데이터로 채우고 데이터가 올바르게 복제되었는지 확인할 수 있습니다.

4. 버팀목

반사에 대한 설명

데이터 동기화가 시작된 후(DFS) 볼 수 있듯이 첫 번째 서버에서 무언가를 생성한 경우 두 번째 서버에는 아무것도 나타나지 않거나 나타나지만 항상 그런 것은 아닙니다.

절망하지 마십시오. 물론 조만간 나타날 것이지만, 조만간 나타나는 것이 더 좋습니다. 6~12시간이면 너무 늦기 때문이죠.

문제는 첫 번째 서버, 두 번째 및 후속 서버에서 무언가를 생성하자마자 DFS 시스템 덕분에 파일이 즉시 표시되지만 이전에 누군가가 이미 이 메일 디렉터리를 읽은 경우입니다. 다시 요청되면 서버는 #msgs 폴더를 다시 읽지 않고 자체 색인에서 데이터를 내보낼 것입니다. 이는 더 이상 현실과 일치하지 않을 수 있습니다.

Kerio에는 색인을 다시 읽는 메커니즘이 있지만 약 6시간 안에 작동할 수 있으며 이 XNUMX시간 동안 달력에서 작업의 관련성이 다소 손실될 수 있습니다.
지금 동기화를 테스트하려면 메일 서버의 폴더에 다시 액세스한 후 해당 동기화 디렉터리 index.fld에서 파일을 삭제할 수 있습니다. 이 파일이 누락된 경우 Kerio는 디렉터리와 데이터를 다시 읽습니다. 나타날거야. 이것이 해결책인 것 같습니다. 데이터가 변경되면 파일을 삭제하지만 매번 작동하지 않고 처음에만 작동합니다. 그런 다음 Kerio는 어떤 이유로 index.fld에 대한 모든 관심을 잃습니다.
또한 사용자가 이해할 수 없는 일종의 색인에 관한 메시지와 이미 그곳에서 뭔가를 하고 있다는 메시지를 뱉어내기 시작합니다.

무언가를 생성하는 또 다른 옵션이 있습니다. 새 객체를 생성하는 순간 서버는 할당하려는 파일 이름이 이미 사용되었다는 것을 갑자기 깨닫지만 눈덩이처럼 불어나며 이는 막다른 옵션입니다.

그런 일이 어떻게 될 수 있습니까?

이미 우리에게 익숙한 그림에 다시 한 번 주목한다면.

하지만 다른 평면에서는 지금 우리에게 필요한 매우 흥미로운 버튼을 볼 수 있습니다. 폴더 재색인

그리고 실제로. 동기화된 #msgs에서 이미 변경된 내용을 모르는 메일 서버에서 이 버튼을 클릭하면 안정적이고 빠른 결과를 얻을 수 있습니다. 숨겨진 모든 것이 분명해질 것입니다.

로그에서 이 프로세스에 걸리는 시간을 확인할 수 있습니다. 제 경우에는 수천(15)개의 레코드가 있는 경우 약 3-4분이 소요됩니다.

우리가 해야 할 일은 필요할 때 이 버튼을 실제로 누르는 방법을 알아내는 것뿐입니다.

그것은 밝혀졌다 Kerio 자신의 API

기술
Документация

우리 작업을 수행하는 함수는 다음과 같습니다:
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

위의 모든 것 중에서 관심 있는 폴더의 상태를 모니터링하고 변경된 사항이 있는 경우 필요한 기능을 수행하는 스크립트를 작성해야 합니다.

나는 다양한 검사를 수행하는 여러 가지 버전의 스크립트를 작성했으며 파일 수에 따라 모든 결론을 도출하는 스크립트를 선택했다고 말하고 싶습니다.

스크립트 구현

CMD 스크립트 예시 및 설명

Re-index.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%CD%LOG"
md "%CD%Setup"

ECHO -Start- >> "%CD%LOG%Computername%.log"
ECHO Start -> %Computername% %Date% %Time% >> "%CD%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%CD%Setup%Computername%.List") do (
  set /a c+=1
  set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%CD%LOG%Computername%.log"
ECHO.
ECHO. >> "%CD%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count        [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count %Date% %Time% - Delete !m%id%! >> "%CD%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%CD%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - %Date% %Time% --- >> "%CD%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%CD%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

각 메일 서버에서 스크립트 복사본이 실행됩니다. (서비스로 사용 가능, Adm 권한이 필요하지 않음)

스크립트가 파일을 읽습니다. Setup%Computername%.List

여기서 %Computername%은 현재 서버의 이름입니다. 디렉터리에는 모든 서버 목록이 동시에 포함될 수 있습니다.

%Computername%.List 파일 – 동기화된 디렉터리의 전체 경로를 포함하며, 각 경로는 새 줄에 작성되며 빈 줄을 포함할 수 없습니다.

첫 번째 실행 후 스크립트는 필요 여부에 관계없이 인덱싱 절차를 수행하고 각 동기화 디렉터리에 파일 수에 대한 인덱스도 생성합니다.

스크립트의 목적은 지정된 디렉터리의 모든 파일 수를 계산하는 것입니다.

각 디렉터리 계산이 끝나면 적어도 하나의 디렉터리에서 파일의 현재 값이 이전 값과 일치하지 않는 경우 스크립트는 동기화된 메일 디렉터리의 루트 디렉터리에서 파일을 삭제합니다. index.fld, indexlog.fld, search.fld 공유 메일 폴더의 색인 생성 프로세스를 시작합니다.

작업 실행에 대한 정보는 LOG 디렉터리에 덤프됩니다.

인덱싱 프로세스
인덱싱 프로세스는 Kerio API 기능 실행으로 이어집니다.
세션 = callMethod("Domains.checkPublicFoldersIntegrity",{}, 토큰)

구현 예는 다음과 같습니다. – Python
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie storage is necessary for session handling """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname or ip address of your Kerio Control instance with protocol, port and credentials """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Remotely calls given method with given params.
    :param: method string with fully qualified method name
    :param: params dict with parameters of remotely called method
    :param: token CSRF token is always required except login method. Use method "Session.login" to obtain this token.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 그대로 둘 수 있지만 HTTPS가 필요한 경우 Python은 Kerio 인증서를 신뢰해야 합니다.

또한 파일에서 메일 서버의 이 기능(Adm - 공용 메일 폴더)을 수행할 수 있는 권한이 있는 계정을 지정해야 합니다.

내 기사가 Kerio Connect 관리자에게 도움이 되기를 바랍니다.

출처 : habr.com