वितरित केरियो कनेक्ट सर्वर के बीच साझा फ़ोल्डर, संपर्क, कैलेंडर का पूर्ण सिंक्रनाइज़ेशन

शुभ दोपहर, हबर!

कार्य

मेरा संगठन केरियो कनेक्ट प्लेटफ़ॉर्म पर एक मेल सर्वर का उपयोग करता है; अपने उपयोगकर्ताओं की सेवा के लिए विभिन्न शहरों में मेल सर्वर स्थापित किए गए हैं। प्रारंभ में कोई वितरित संरचना नहीं थी, क्योंकि डोमेन तीसरे स्तर पर भिन्न होते हैं, जो साइट के शहर को दर्शाते हैं। सब कुछ काम कर गया और हर कोई खुश था। एक दिन, प्रबंधन ने एक कार्य निर्धारित किया, सभी साइटों के बीच गतिविधियों का एक सामान्य कैलेंडर!

पृष्ठभूमि

प्रारंभ में, विचार केरियो डिस्ट्रीब्यूटेड मेल डोमेन को बढ़ाने का था और यह सब कुछ स्वयं करेगा। जैसे ही कहा गया, एक वितरित डोमेन बनाया गया था, लेकिन ऐसा नहीं था, सर्वर एक ही सर्वर पर स्थित डोमेन के बीच कैलेंडर, फ़ोल्डर्स, संपर्कों को सिंक्रनाइज़ करने के लिए तैयार था, लेकिन कई के बीच डेटा को सिंक्रनाइज़ करने वाला नहीं था सर्वर.

बेशक, मुझे ऐसी पकड़ की उम्मीद नहीं थी और लंबे समय तक मुझे विश्वास ही नहीं हो रहा था कि मुझे जिस कार्यक्षमता की ज़रूरत थी वह गायब थी। बाद में मुझे इस तथ्य के दस्तावेजी सबूत मिले। मैं इससे बहुत हैरान और निराश था.

कार्य आसानी से एक समस्या में बदल गया।

विकल्प क्या थे?

• अलग-अलग सर्वर पर दो क्लाइंट बनाएं जो कुछ तृतीय-पक्ष सॉफ़्टवेयर के साथ आवश्यक डेटा का आदान-प्रदान करें। इस तृतीय-पक्ष सॉफ़्टवेयर को ढूंढना आवश्यक था जो इस कार्यक्षमता को लागू करेगा - मुझे ऐसी रेक पसंद नहीं है, लेकिन ऐसा लगा कि यह एकमात्र त्वरित समाधान था।
• सर्वरों के बीच डेटा सिंक्रनाइज़ेशन के लिए अपनी स्वयं की स्क्रिप्ट लिखें। तथ्य यह है कि केरियो प्रत्येक ऑब्जेक्ट को एक अलग फ़ाइल के रूप में संग्रहीत करता है, इसलिए फ़ाइलों के साथ काम करने के लिए एक स्क्रिप्ट विकसित करना आवश्यक था, लेकिन स्रोतों की पर्याप्त संख्या को देखते हुए, कार्य कुछ हद तक जटिल लग रहा था, खासकर जब से एकाधिक निष्पादित करना आवश्यक था डेटा की शुद्धता की जांच करता है, यदि कोई व्यक्ति समान समयावधि में कार्य बनाता है, आदि, आदि।

आगे देखते हुए, मैं कहूंगा कि हालांकि केरियो किसी ऑब्जेक्ट को एक अलग फ़ाइल के रूप में संग्रहीत करता है, लेकिन यह इतना बेवकूफी नहीं है कि यह पूछें कि हर बार जब आप ऑब्जेक्ट तक पहुंचते हैं तो फ़ाइल सिस्टम कैसा काम कर रहा है।

"दुश्मन के इलाके पर कब्ज़ा करने" की योजना के साथ कागज के टुकड़ों का एक गुच्छा तैयार करने और सोचने में बहुत समय बिताने के बाद, 6 बजे मैंने दो सही निर्णय लिए:

• पहला निर्णय यह है कि अपना काम खुद करें और बाहर से कुछ भी न खोजें।
• दूसरा उपाय है सो जाओ.

पहले से ही सुबह मैं एक एकल और सच्चे विचार के साथ उठा, जो कुछ अक्षरों में सिमट गया था - डीएफएस

समाधान

समाधान स्वयं इस तरह दिखता था

• उन सभी सर्वरों को लाएँ जो OS Windows के सिंक्रनाइज़ेशन में भाग लेंगे। (इसका एक हिस्सा लिनक्स पर था। मेल डेटा को दूसरे ओएस पर स्थानांतरित करना आवश्यक था)
• उन निर्देशिकाओं की संरचना निर्धारित करें जो सिंक्रनाइज़ेशन में भाग लेंगी - वे समान होनी चाहिए।
• एक ही डीएफएस स्पेस के साथ एक डोमेन के तहत सभी मेल सर्वर को परिभाषित करें।
• उपर्युक्त वितरित केरियो डोमेन बनाएं, क्योंकि मेरे मामले में डेटा सिंक्रनाइज़ेशन की आवश्यकता है, न केवल सर्वर के बीच बल्कि डोमेन के बीच भी; दूसरे को केरियो सर्वर द्वारा स्वतंत्र रूप से नियंत्रित किया जा सकता है। (पहले वाले के विपरीत)
• सिंक्रनाइज़ निर्देशिकाओं को DFS स्पेस पर सेट करें।
• किसी प्रकार की बैसाखी लेकर आएं (आखिरकार, आप बैसाखी के बिना नहीं रह सकते)

कार्यान्वयन

दो मेल सर्वर पर उदाहरण (शायद अधिक)

1. केरियो वितरित डोमेन

मास्टर सिंक्रोनाइज़ेशन में भाग नहीं लेता है, लेकिन यह कोई शर्त नहीं है।

मैं यह नहीं बताऊंगा कि केरियो वितरित डोमेन को कैसे बढ़ाया जाए, इसमें कुछ भी जटिल नहीं है, आप आधिकारिक अध्ययन कर सकते हैं manul

अंततः, आपको प्रशासन कंसोल में निम्नलिखित छवि देखनी चाहिए:

आगे मुझे साझा फ़ोल्डरों में रुचि थी; मास्टर सर्वर पर आप निम्नलिखित विकल्प निर्दिष्ट कर सकते हैं:

प्रत्येक डोमेन के लिए विशिष्ट - सर्वर डोमेन के बीच सार्वजनिक फ़ोल्डरों को सिंक्रनाइज़ नहीं करेगा

सभी डोमेन के लिए सामान्य - सभी सर्वर प्रत्येक डोमेन में मौजूदा सार्वजनिक फ़ोल्डरों को छोड़ देंगे और प्रत्येक मेल सर्वर पर सभी डोमेन के लिए नए एकल फ़ोल्डर बनाएंगे।

चेतावनी! यद्यपि यह विकल्प सभी सर्वरों पर कॉन्फ़िगरेशन नीति को बदलता है, यह प्रत्येक सर्वर से अलग से सिंक्रनाइज़ होता है (अर्थात, एक भी सामान्य स्थान के बिना)

व्यवस्थापक के पास अभी भी उपयोगकर्ताओं के बीच पहुंच वितरित करने की क्षमता होगी।
मेरे मामले में, वे सभी मेरे हैं और मुझे पूर्ण सिंक्रनाइज़ेशन की आवश्यकता है (आपके मामले में, समाधान भिन्न हो सकता है) प्रत्येक सर्वर पर आपको डोमेन के समान सेट बनाने की आवश्यकता होती है जिन्हें सिंक्रनाइज़ करने की आवश्यकता होती है।

2. केरियो डेटा निर्देशिकाएँ

अब आपको समान साझा निर्देशिकाएँ बनाने की आवश्यकता है जिन्हें प्रत्येक सर्वर पर सिंक्रनाइज़ करने की आवश्यकता है। फ़ोल्डर, कैलेंडर, संपर्क।

सलाह - अंग्रेजी में निर्देशिका बनाएं, यदि आप उन्हें लैटिन में बनाते हैं, तो निर्देशिका में कुछ समझ से बाहर एन्कोडिंग में एक नाम होगा, यह कम से कम असुविधाजनक है।

अब आपको प्रत्येक सर्वर पर मेल फ़ोल्डरों के भौतिक पथ खोजने की आवश्यकता है।

सभी डोमेन के लिए सामान्य ~DataMailmail#publicСинхронизируемый каталог#msgs
प्रत्येक डोमेन के लिए विशिष्ट ~DataMailmail**Domain**#publicСинхронизируемый каталог#msgs

कृपया ध्यान दें कि हम संपूर्ण निर्देशिका को नहीं, बल्कि केवल डेटा वाले कंटेनर को सिंक्रनाइज़ करेंगे #msgs - ऑब्जेक्ट स्वयं यहां संग्रहीत हैं, अन्य सभी डेटा प्रत्येक सर्वर के लिए अलग होना चाहिए।

3.डीएफएस

मैं डीएफएस को कॉन्फ़िगर करने के तरीके के बारे में विस्तार से नहीं बताऊंगा, इस मुद्दे पर पर्याप्त जानकारी है।

डीएफएस विंडोज सर्वर में एक रोल सेवा है जो विभिन्न सर्वरों पर स्थित साझा फ़ोल्डरों को संयोजित करने की क्षमता प्रदान करती है
एमएस डीएफएस दस्तावेज़ से लिंक करें

डीएफएस स्थापित करने से पहले, आपको उन सभी मेल सर्वरों को बंद करना होगा जो डेटा सिंक्रनाइज़ेशन में भाग लेंगे।

सेटअप पूरा होने पर, आपको प्रत्येक सिंक्रनाइज़ फ़ोल्डर के लिए निम्न छवि प्राप्त होनी चाहिए

स्वाभाविक रूप से, हमें प्रतिकृति फ़ोल्डरों को प्रकाशित करने की आवश्यकता नहीं है।

प्रतिकृति होने के बाद (और वहां दोहराने के लिए कुछ विशेष नहीं है - फ़ोल्डर खाली हैं), मेल सर्वर शुरू किए जा सकते हैं।

इसके बाद, आप किसी एक मेल सर्वर को डेटा से भर सकते हैं और जांच सकते हैं कि डेटा सही ढंग से दोहराया गया है।

4. बैसाखी

प्रतिबिंब का वर्णन

जैसा कि आप देख सकते हैं कि डेटा सिंक्रनाइज़ होने (डीएफएस) शुरू होने के बाद, यदि आपने पहले सर्वर पर कुछ बनाया है, तो किसी तरह दूसरे सर्वर पर कुछ भी दिखाई नहीं देता है, या यह दिखाई देता है लेकिन हमेशा नहीं।

निराश मत होइए; बेशक, देर-सबेर यह प्रकट होगा, लेकिन देर-सबेर पहले ही बेहतर होगा। क्योंकि 6-12 घंटे में बहुत देर हो चुकी है।

बात यह है कि जैसे ही आपने पहले सर्वर पर कुछ बनाया है, दूसरे और बाद के सर्वर पर फ़ाइल तुरंत डीएफएस सिस्टम के लिए धन्यवाद दिखाई देगी, लेकिन इस घटना में कि यह मेल निर्देशिका पहले से ही किसी के द्वारा पढ़ी जा चुकी है और दोबारा अनुरोध किया जाता है, तो सर्वर #msgs फ़ोल्डर को दोबारा नहीं पढ़ेगा, लेकिन अपने स्वयं के सूचकांक से डेटा निकाल देगा, जो अब हमारी वास्तविकता के अनुरूप नहीं हो सकता है।

केरियो के पास सूचकांक को दोबारा पढ़ने के लिए एक तंत्र है, लेकिन यह लगभग छह घंटे में काम कर सकता है, और इन 6 घंटों के दौरान कैलेंडर में कार्य की प्रासंगिकता कुछ हद तक खो सकती है।
अभी सिंक्रनाइज़ेशन का परीक्षण करने के लिए, आप मेल सर्वर पर फ़ोल्डर को दोबारा एक्सेस करने के बाद संबंधित सिंक्रनाइज़ निर्देशिका इंडेक्स.एफएलडी में फ़ाइल को हटा सकते हैं और यदि यह फ़ाइल गायब है, तो केरियो निर्देशिका और डेटा को दोबारा पढ़ेगा दिखाई देगा। ऐसा प्रतीत होता है कि यह समाधान है, डेटा बदलने पर फ़ाइल को हटा दें, लेकिन यह हर बार काम नहीं करता है, लेकिन केवल पहली बार, फिर केरियो किसी कारण से Index.fld में सभी रुचि खो देता है
यह उन संदेशों को भी उगलना शुरू कर देता है जो उपयोगकर्ता के लिए समझ से बाहर हैं - किसी प्रकार के सूचकांक के बारे में और यह पहले से ही वहां कुछ कर रहा है।

कुछ बनाने का एक और विकल्प है - एक नई वस्तु बनाने के समय, सर्वर को अचानक पता चलता है कि जिस फ़ाइल नाम को वह निर्दिष्ट करना चाहता था वह पहले ही ले लिया गया है, लेकिन यह स्नोबॉल हो जाता है और यह एक मृत-अंत विकल्प है।

कैसे हो सकता है?

अगर हम एक बार फिर उस तस्वीर पर ध्यान दें जिससे हम पहले से ही परिचित हैं।

लेकिन दूसरे स्तर पर, आप एक बहुत ही दिलचस्प बटन देख सकते हैं जिसकी हमें अब आवश्यकता है - फ़ोल्डरों को पुनः अनुक्रमित करें

सचमुच। यदि हम किसी मेल सर्वर पर इस बटन पर क्लिक करते हैं जो नहीं जानता है कि सिंक्रनाइज़ #msgs में पहले से ही कुछ बदल गया है, तो हमें एक स्थिर, तेज़ परिणाम मिलेगा। छुपी हुई हर चीज़ साफ़ हो जाएगी.

लॉग में आप देख सकते हैं कि इस प्रक्रिया में कितना समय लगता है; मेरे मामले में कई हजार (15 हजार) रिकॉर्ड के साथ इसमें लगभग 3-4 मिनट लगते हैं।

हमें बस यह पता लगाना है कि जरूरत पड़ने पर वास्तव में इस बटन को कैसे दबाया जाए।

यह पता चला है कीरो अपना है API

विवरण
अभिलेख

हमारा कार्य करने वाला फ़ंक्शन इस प्रकार दिखता है:
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

उपरोक्त सभी से, हमें एक स्क्रिप्ट लिखने की ज़रूरत है जो रुचि के फ़ोल्डरों की स्थिति की निगरानी करेगी और, यदि कुछ बदल गया है, तो वह फ़ंक्शन निष्पादित करें जिसकी हमें आवश्यकता है।

मैं कहना चाहता हूं कि मैंने स्क्रिप्ट के कई अलग-अलग संस्करण लिखे जो अलग-अलग जांच करते हैं, और उस संस्करण पर निर्णय लिया जो फाइलों की संख्या के आधार पर सभी निष्कर्ष निकालता है।

स्क्रिप्ट कार्यान्वयन

सीएमडी स्क्रिप्ट उदाहरण और विवरण

पुन: अनुक्रमणिका.बैट

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%CD%LOG"
md "%CD%Setup"

ECHO -Start- >> "%CD%LOG%Computername%.log"
ECHO Start -> %Computername% %Date% %Time% >> "%CD%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%CD%Setup%Computername%.List") do (
  set /a c+=1
  set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%CD%LOG%Computername%.log"
ECHO.
ECHO. >> "%CD%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count        [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count %Date% %Time% - Delete !m%id%! >> "%CD%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%CD%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - %Date% %Time% --- >> "%CD%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%CD%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

स्क्रिप्ट की एक प्रति प्रत्येक मेल सर्वर पर चलती है (सेवा के रूप में उपयोग की जा सकती है, एडमिन अधिकारों की आवश्यकता नहीं है)

स्क्रिप्ट फ़ाइल को पढ़ती है Setup%Computername%.List

जहां %Computername% वर्तमान सर्वर का नाम है (निर्देशिका में एक साथ सभी सर्वरों की सूची हो सकती है।)

फ़ाइल %Computername%List - इसमें सिंक्रनाइज़ निर्देशिकाओं के पूर्ण पथ शामिल हैं, प्रत्येक पथ एक नई लाइन पर लिखा गया है, और इसमें खाली लाइनें नहीं होनी चाहिए।

पहले लॉन्च के बाद, स्क्रिप्ट अनुक्रमण प्रक्रिया निष्पादित करती है, भले ही यह आवश्यक हो या नहीं, और स्क्रिप्ट प्रत्येक सिंक्रनाइज़ निर्देशिका में फ़ाइलों की संख्या का एक सूचकांक भी बनाती है।

स्क्रिप्ट का उद्देश्य निर्दिष्ट निर्देशिका में सभी फ़ाइलों की गिनती करना है।

प्रत्येक निर्देशिका की गिनती के अंत में, यदि कम से कम एक निर्देशिका में फ़ाइलों का वर्तमान मान पिछले एक से मेल नहीं खाता है, तो स्क्रिप्ट सिंक्रनाइज़ मेल निर्देशिका की रूट निर्देशिका से फ़ाइलों को हटा देती है: index.fld, indexlog.fld, search.fld और साझा मेल फ़ोल्डरों की अनुक्रमणिका प्रक्रिया प्रारंभ करता है।

कार्य निष्पादन के बारे में जानकारी लॉग निर्देशिका में डंप कर दी जाती है।

अनुक्रमणिका प्रक्रिया
केरियो एपीआई फ़ंक्शन को निष्पादित करने के लिए अनुक्रमण प्रक्रिया नीचे आती है
सत्र = callMethod("Domains.checkPublicFoldersIntegrity",{}, टोकन)

एक उदाहरण कार्यान्वयन - पायथन में दिया गया है
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie storage is necessary for session handling """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname or ip address of your Kerio Control instance with protocol, port and credentials """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Remotely calls given method with given params.
    :param: method string with fully qualified method name
    :param: params dict with parameters of remotely called method
    :param: token CSRF token is always required except login method. Use method "Session.login" to obtain this token.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 आप इसे ऐसे ही छोड़ सकते हैं, लेकिन यदि आपको HTTPS की आवश्यकता है, तो Python को Kerio प्रमाणपत्र पर भरोसा करना चाहिए।

इसके अलावा फ़ाइल में आपको मेल सर्वर के इस फ़ंक्शन (प्रशा. - सार्वजनिक मेल फ़ोल्डर) को निष्पादित करने के अधिकार वाला एक खाता निर्दिष्ट करना होगा।

मुझे आशा है कि मेरा लेख केरियो कनेक्ट प्रशासकों के लिए उपयोगी होगा।

स्रोत: www.habr.com