分散された Kerio Connect サーバー間での共有フォルダー、連絡先、カレンダーの完全同期

こんにちは、ハブル！

タスク

私の組織では Kerio Connect プラットフォーム上のメール サーバーを使用しており、メール サーバーはユーザーにサービスを提供するためにさまざまな都市にインストールされています。 ドメインはサイトの都市を示す第 XNUMX レベルで異なるため、当初は分散構造はありませんでした。 すべてがうまくいき、誰もが幸せでした。 ある晴れた日、管理者はタスク、つまりすべてのサイト間で共通の活動カレンダーを設定しました。

背景

当初、Kerio 分散メール ドメインを立ち上げ、それがすべてを自動的に実行するという考えでした。 完了と言うとすぐに分散ドメインが作成されましたが、そうではありませんでした。サーバーは、同じサーバー上にあるドメイン間でカレンダー、フォルダー、連絡先を同期する準備ができていましたが、複数のドメイン間でデータを同期するつもりはまったくありませんでした。サーバー。

もちろん、私はそのような問題を予期していませんでしたし、必要な機能が欠けているとは長い間信じられませんでした。 その後、この事実を示す文書証拠を見つけました。 私はこれに非常に当惑し、失望しました。

タスクはスムーズに問題に変わりました。

どのような選択肢がありましたか?

• 必要なデータをサードパーティ ソフトウェアと交換する XNUMX つのクライアントを異なるサーバー上に作成します。 この機能を実装するサードパーティ ソフトウェアを見つける必要がありました。私はそのような rake は好きではありませんが、これが唯一の迅速な解決策であるように思えました。
• サーバー間のデータ同期用の独自のスクリプトを作成します。 実際のところ、Kerio は各オブジェクトを別のファイルとして保存するため、ファイルを操作するためのスクリプトを開発する必要がありましたが、十分な数のソースを考慮すると、特に複数の処理を実行する必要があるため、タスクはやや複雑に見えました。誰かが同じ期間にタスクを作成した場合などに備えて、データの正確性をチェックします。

今後のことを考えて、Kerio はオブジェクトを別のファイルとして保存しますが、オブジェクトにアクセスするたびにファイル システムがどのように動作しているかを尋ねるほど愚かではないと言っておきます。

多くの時間を費やして考え、「敵の領土を占領する」計画を書いた紙の束を作成した後、6時に私はXNUMXつの正しい決断を下しました。

• 最初の決断は、外部に何も求めず、自分自身のことを行うことです。
• XNUMX番目の解決策は寝ることです。

朝すでに目が覚めたとき、私はたった XNUMX つの真実の考えを抱きました。それは数文字にまとめられました - DFS

ソリューション

ソリューション自体は次のようになりました

• 同期に参加するすべてのサーバーを OS Windows に移動します。 （一部Linux上で使用していました。メールデータの別OSへの移行が必要でした）
• 同期に参加するディレクトリの構造を決定します。それらは同一である必要があります。
• 単一の DFS スペースを持つ XNUMX つのドメインの下にすべてのメール サーバーを定義します。
• 私の場合、サーバー間だけでなくドメイン間でもデータの同期が必要なため、上記の分散 Kerio ドメインを作成します。XNUMX 番目の同期は Kerio サーバーで独立して処理できます。 (最初のものとは異なります)
• 同期されたディレクトリを DFS スペースに設定します。
• 何らかの松葉杖を用意しましょう（結局のところ、松葉杖なしでは生きていけません）

具現化

XNUMX つのメール サーバー上の例 (おそらくそれ以上)

1. Kerio 分散ドメイン

マスターは同期に参加しませんが、これは前提条件ではありません。

Kerio 分散ドメインを立ち上げる方法については説明しません。複雑なことは何もありません。公式を勉強してください。 マヌルネコ

最終的には、管理コンソールに次の画像が表示されるはずです。

次に、共有フォルダーに興味がありました。マスター サーバーでは次のオプションを指定できます。

各ドメインに固有の - サーバーはドメイン間でパブリック フォルダーを同期しません。

すべてのドメインに共通 - すべてのサーバーは、各ドメイン内の既存のパブリック フォルダーを破棄し、各メール サーバー上のすべてのドメインに対して新しい単一フォルダーを作成します。

警告！ このオプションはすべてのサーバーの構成ポリシーを変更しますが、各サーバーとは個別に同期します (つまり、単一の共通スペースはありません)。

管理者は引き続きユーザー間でアクセスを分散することができます。
私の場合、それらはすべて私のものであり、完全な同期が必要です（あなたの場合、解決策は異なる可能性があります）各サーバーで、同期する必要がある同一のドメインのセットを作成する必要があります。

2. Kerio データ ディレクトリ

次に、各サーバー上で同期する必要がある同一の共有ディレクトリを作成する必要があります。 フォルダー、カレンダー、連絡先。

アドバイス - ディレクトリは英語で作成してください。ラテン語で作成した場合、ディレクトリの名前は理解できないエンコーディングになります。これは少なくとも不便です。

次に、各サーバー上のメール フォルダーの物理パスを見つける必要があります。

すべてのドメインに共通 ~DataMailmail#publicСинхронизируемый каталог#msgs
各ドメインに固有の ~DataMailmail**Domain**#publicСинхронизируемый каталог#msgs

ディレクトリ全体を同期するのではなく、コンテナとデータのみを同期することに注意してください。 #msgs — オブジェクト自体はここに保存されます。他のすべてのデータはサーバーごとに別個にする必要があります。

3.DFS

また、DFS の構成方法については詳しく説明しません。この問題については十分な情報があります。

DFS は、異なるサーバーにある共有フォルダーを結合する機能を提供する Windows Server の役割サービスです。
MS DFS ドキュメントへのリンク

DFS を設定する前に、データ同期に参加するすべてのメール サーバーを停止する必要があります。

セットアップが完了すると、同期されたフォルダーごとに次の画像が表示されます。

当然のことながら、レプリケートされたフォルダーを公開する必要はありません。

レプリケーションが行われた後 (そこでレプリケートする特別なものは何もありません - フォルダーは空です)、メール サーバーを起動できます。

次に、メール サーバーの XNUMX つにデータを入力し、データが正しく複製されていることを確認します。

4.松葉杖

反省の説明

データの同期 (DFS) が開始された後にわかるように、最初のサーバーで何かを作成した場合、どういうわけか XNUMX 番目のサーバーには何も表示されないか、または表示されますが何らかの理由で常にではありません。

絶望しないでください。もちろん、遅かれ早かれそれは現れるでしょうが、遅かれ早かれ早い方が良いでしょう。 6～12時間では遅すぎるからです。

問題は、最初のサーバーで何かを作成するとすぐに、XNUMX 番目以降のサーバーでは、もちろん DFS システムのおかげでファイルがすぐに表示されますが、このメール ディレクトリが以前に誰かによってすでに読み取られていた場合には、再度リクエストされた場合、サーバーは #msgs フォルダーを再読み取りせず、独自のインデックスからデータを吐き出しますが、これはもはや現実に対応していない可能性があります。

Kerio にはインデックスを再読み取りするメカニズムがありますが、これは約 6 時間で機能し、この XNUMX 時間の間、カレンダー内のタスクの関連性が多少失われる可能性があります。
今すぐ同期をテストするには、メール サーバー上のフォルダーに再アクセスした後、対応する同期ディレクトリのindex.fld 内のファイルを削除します。このファイルが見つからない場合、Kerio はディレクトリとデータを再読み込みします。現れる。 これが解決策であるように見えますが、データが変更されたときにファイルを削除しますが、これは毎回機能するわけではなく、初回のみ機能します。その後、Kerioは何らかの理由でindex.fldにまったく興味を失います
また、ある種のインデックスについて、そしてそこですでに何かを実行しているという、ユーザーには理解できないメッセージを吐き出し始めます。

何かを作成するという別のオプションもあります。新しいオブジェクトを作成する瞬間に、サーバーは割り当てようとしていたファイル名がすでに使用されていることに突然気づきますが、雪だるま式に増えるため、これは行き止まりのオプションです。

それはどのようにすることができますか？

すでに見慣れたこの絵にもう一度注目してみましょう。

しかし、別の面では、今必要な非常に興味深いボタンが見えます。 フォルダーのインデックスを再作成する

本当に。 同期された #msgs で何かが既に変更されたことを認識していないメール サーバー上でこのボタンをクリックすると、安定した高速な結果が得られます。 隠されていたものはすべて明らかになります。

ログを見ると、このプロセスにかかる時間がわかります。私の場合、数千 (15) のレコードがある場合、約 3 ～ 4 分かかります。

私たちがしなければならないのは、必要なときにこのボタンを実際に押す方法を理解することだけです。

判明したのは、 ケリオ 独自のものを持っている API

説明
Документация

私たちのタスクを実行する関数は次のようになります。
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

上記すべてから、対象のフォルダーの状態を監視し、何かが変化した場合に必要な機能を実行するスクリプトを作成する必要があります。

言いたいのは、私はさまざまなチェックを実行するいくつかの異なるバージョンのスクリプトを作成し、ファイル数に基づいてすべての結論を引き出すバージョンに落ち着いたということです。

スクリプトの実装

CMD スクリプトの例と説明

インデックスを再作成.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%CD%LOG"
md "%CD%Setup"

ECHO -Start- >> "%CD%LOG%Computername%.log"
ECHO Start -> %Computername% %Date% %Time% >> "%CD%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%CD%Setup%Computername%.List") do (
  set /a c+=1
  set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%CD%LOG%Computername%.log"
ECHO.
ECHO. >> "%CD%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count        [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count %Date% %Time% - Delete !m%id%! >> "%CD%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%CD%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - %Date% %Time% --- >> "%CD%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%CD%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

スクリプトのコピーが各メール サーバーで実行されます (サービスとして使用でき、管理者権限は必要ありません)。

スクリプトはファイルを読み取ります Setup%Computername%.List

ここで、%Computername% は現在のサーバーの名前です (ディレクトリには、すべてのサーバーのリストを一度に含めることができます)。

ファイル %Computername%.List – 同期されたディレクトリの完全なパスが含まれており、各パスは新しい行に書き込まれ、空の行を含めることはできません。

最初の起動後、スクリプトは必要かどうかに関係なくインデックス作成手順を実行し、同期された各ディレクトリ内のファイル数のインデックスも作成します。

このスクリプトの目的は、指定されたディレクトリ内のすべてのファイルをカウントすることです。

各ディレクトリのカウントの終了時に、少なくとも XNUMX つのディレクトリでファイルの現在の値が前の値と一致しない場合、スクリプトは同期メール ディレクトリのルート ディレクトリからファイルを削除します。 index.fld, indexlog.fld, search.fld そして、共有メールフォルダーのインデックス作成プロセスを開始します。

タスクの実行に関する情報は LOG ディレクトリにダンプされます。

インデックス作成プロセス
インデックス作成プロセスは、Kerio API 関数の実行に帰着します。
Session = callMethod("Domains.checkPublicFoldersIntegrity",{}, トークン)

実装例は – Python で示されています
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie storage is necessary for session handling """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname or ip address of your Kerio Control instance with protocol, port and credentials """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Remotely calls given method with given params.
    :param: method string with fully qualified method name
    :param: params dict with parameters of remotely called method
    :param: token CSRF token is always required except login method. Use method "Session.login" to obtain this token.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 そのままにしておくことができますが、HTTPS が必要な場合、Python は Kerio 証明書を信頼する必要があります。

また、このファイルでは、メール サーバーのこの機能 (Adm - パブリック メール フォルダー) を実行する権限を持つアカウントを指定する必要があります。

私の記事が Kerio Connect 管理者にとって役立つことを願っています。

出所： habr.com