वितरित केरियो कनेक्ट सर्व्हर दरम्यान सामायिक केलेले फोल्डर्स, संपर्क, कॅलेंडरचे संपूर्ण सिंक्रोनाइझेशन

शुभ दुपार, हॅब्र!

उद्दिष्ट

माझी संस्था केरियो कनेक्ट प्लॅटफॉर्मवर मेल सर्व्हर वापरते; त्यांच्या वापरकर्त्यांना सेवा देण्यासाठी मेल सर्व्हर वेगवेगळ्या शहरांमध्ये स्थापित केले जातात. सुरुवातीला कोणतीही वितरित रचना नव्हती, कारण डोमेन तिसऱ्या स्तरावर भिन्न आहेत, साइटचे शहर दर्शवितात. सर्व काही कार्य केले आणि प्रत्येकजण आनंदी होता. एक चांगला दिवस, व्यवस्थापनाने एक कार्य सेट केले, सर्व साइट्समधील क्रियाकलापांचे एक सामान्य कॅलेंडर!

prehistory

सुरुवातीला, केरिओ वितरित मेल डोमेन वाढवण्याची कल्पना होती आणि ती सर्वकाही स्वतः करेल. पूर्ण होण्याआधीच, एक वितरित डोमेन तयार केले गेले, परंतु तसे झाले नाही, सर्व्हर कॅलेंडर, फोल्डर्स, संपर्क - समान सर्व्हरवर असलेल्या डोमेन दरम्यान सिंक्रोनाइझ करण्यासाठी तयार होता, परंतु अनेक दरम्यान डेटा सिंक्रोनाइझ करण्यासाठी अजिबात जात नाही. सर्व्हर

मला, अर्थातच, अशा झेलची अपेक्षा नव्हती आणि बर्याच काळापासून विश्वास ठेवू शकत नाही की मला आवश्यक असलेली कार्यक्षमता गहाळ आहे. नंतर मला या वस्तुस्थितीचे कागदोपत्री पुरावे मिळाले. हे पाहून मी खूप गोंधळलो आणि निराश झालो.

कार्य सुरळीतपणे समस्येत बदलले.

पर्याय काय होते?

• वेगवेगळ्या सर्व्हरवर दोन क्लायंट तयार करा जे काही तृतीय-पक्ष सॉफ्टवेअरसह आवश्यक डेटाची देवाणघेवाण करतात. हे तृतीय-पक्ष सॉफ्टवेअर शोधणे आवश्यक होते जे ही कार्यक्षमता लागू करेल - मला असे रेक आवडत नाही, परंतु असे दिसते की हा एकमेव द्रुत उपाय आहे.
• सर्व्हर दरम्यान डेटा सिंक्रोनाइझेशनसाठी तुमची स्वतःची स्क्रिप्ट लिहा. वस्तुस्थिती अशी आहे की केरियो प्रत्येक ऑब्जेक्टला स्वतंत्र फाइल म्हणून संग्रहित करतो, म्हणून फायलींसह कार्य करण्यासाठी स्क्रिप्ट विकसित करणे आवश्यक होते, परंतु स्त्रोतांची पुरेशी संख्या पाहता हे कार्य काहीसे क्लिष्ट वाटले, विशेषत: एकाधिक कार्ये करणे आवश्यक असल्याने. डेटाची शुद्धता तपासते, जर एखाद्याने त्याच कालावधीत कार्य तयार केले तर इ. इ.

पुढे पाहताना, मी म्हणेन की केरिओने एखादी वस्तू स्वतंत्र फाइल म्हणून संग्रहित केली असली तरी, प्रत्येक वेळी जेव्हा तुम्ही ऑब्जेक्टमध्ये प्रवेश करता तेव्हा फाइल सिस्टम कशी कार्य करते हे विचारणे इतके मूर्खपणाचे नाही.

6 वाजता "शत्रूचा प्रदेश ताब्यात घेण्याच्या" योजनांसह कागदाच्या तुकड्यांचा एक गुच्छ तयार करून, विचार करण्यात बराच वेळ घालवल्यानंतर, मी दोन योग्य निर्णय घेतले:

• पहिला निर्णय म्हणजे स्वतःचं काम करायचं आणि बाहेरून काहीही शोधायचं नाही.
• दुसरा उपाय म्हणजे झोपी जाणे.

आधीच सकाळी मी एका एकल आणि खर्‍या विचाराने उठलो, जे काही अक्षरांमध्ये कमी झाले - डीएफएस

निर्णय

उपाय स्वतः असे दिसले

• OS Windows वर सिंक्रोनाइझेशनमध्ये सहभागी होणारे सर्व सर्व्हर आणा. (त्याचा काही भाग लिनक्सवर होता. मेल डेटाचे दुसर्‍या OS वर स्थलांतर करणे आवश्यक होते)
• सिंक्रोनाइझेशनमध्ये भाग घेणार्‍या निर्देशिकांची रचना निश्चित करा - ते एकसारखे असले पाहिजेत.
• सर्व मेल सर्व्हर एका डोमेन अंतर्गत एकाच DFS जागेसह परिभाषित करा.
• वर नमूद केलेले वितरित केरियो डोमेन तयार करा, कारण माझ्या बाबतीत डेटा सिंक्रोनाइझेशन आवश्यक आहे, केवळ सर्व्हर दरम्यानच नाही तर डोमेन दरम्यान देखील; दुसरे केरियो सर्व्हरद्वारे स्वतंत्रपणे हाताळले जाऊ शकते. (पहिल्यापेक्षा वेगळे)
• DFS जागेवर समक्रमित निर्देशिका सेट करा.
• काही प्रकारचे क्रॅच घेऊन या (तरीही, तुम्ही क्रॅचशिवाय जगू शकत नाही)

अंमलबजावणी

दोन मेल सर्व्हरवरील उदाहरण (कदाचित अधिक)

1. Kerio वितरित डोमेन

मास्टर सिंक्रोनाइझेशनमध्ये भाग घेत नाही, परंतु ही एक पूर्व शर्त नाही.

Kerio वितरित डोमेन कसे वाढवायचे याचे मी वर्णन करणार नाही, यात काहीही क्लिष्ट नाही, तुम्ही अधिकृत अभ्यास करू शकता manul

शेवटी, प्रशासन कन्सोलमध्ये तुम्हाला खालील प्रतिमा दिसली पाहिजे:

पुढे मला सामायिक फोल्डर्समध्ये स्वारस्य होते; मास्टर सर्व्हरवर आपण खालील पर्याय निर्दिष्ट करू शकता:

प्रत्येक डोमेनसाठी विशिष्ट - सर्व्हर डोमेन दरम्यान सार्वजनिक फोल्डर सिंक्रोनाइझ करणार नाही

सर्व डोमेनसाठी सामान्य - सर्व सर्व्हर प्रत्येक डोमेनमधील विद्यमान सार्वजनिक फोल्डर सोडून देतील आणि प्रत्येक मेल सर्व्हरवरील सर्व डोमेनसाठी नवीन एकल फोल्डर तयार करतील.

खबरदारी हा पर्याय सर्व सर्व्हरवरील कॉन्फिगरेशन धोरण बदलत असला तरी, तो प्रत्येक सर्व्हरपासून स्वतंत्रपणे समक्रमित होतो (म्हणजे एका सामान्य जागेशिवाय)

प्रशासकाकडे अद्याप वापरकर्त्यांमध्ये प्रवेश वितरित करण्याची क्षमता असेल.
माझ्या बाबतीत, ते सर्व माझे आहेत आणि मला प्रत्येक सर्व्हरवर संपूर्ण सिंक्रोनाइझेशनची आवश्यकता आहे (तुमच्या बाबतीत, समाधान भिन्न असू शकते) तुम्हाला सिंक्रोनाइझ करणे आवश्यक असलेल्या डोमेनचे एकसारखे संच तयार करणे आवश्यक आहे.

2. केरियो डेटा निर्देशिका

आता तुम्हाला समान शेअर केलेल्या डिरेक्ट्री तयार करण्याची आवश्यकता आहे ज्या प्रत्येक सर्व्हरवर सिंक्रोनाइझ करणे आवश्यक आहे. फोल्डर्स, कॅलेंडर, संपर्क.

सल्ला - इंग्रजीमध्ये निर्देशिका तयार करा, जर तुम्ही त्या लॅटिनमध्ये तयार केल्या तर, निर्देशिकेचे नाव काही समजण्याजोगे एन्कोडिंगमध्ये असेल, हे किमान गैरसोयीचे आहे.

आता तुम्हाला प्रत्येक सर्व्हरवर मेल फोल्डर्सचे भौतिक मार्ग शोधण्याची आवश्यकता आहे.

सर्व डोमेनसाठी सामान्य ~DataMailmail#publicСинхронизируемый каталог#msgs
प्रत्येक डोमेनसाठी विशिष्ट ~DataMailmail**Domain**#publicСинхронизируемый каталог#msgs

कृपया लक्षात घ्या की आम्ही संपूर्ण निर्देशिका सिंक्रोनाइझ करणार नाही, परंतु डेटासह फक्त कंटेनर #msgs — ऑब्जेक्ट्स स्वतः येथे संग्रहित आहेत, इतर सर्व डेटा प्रत्येक सर्व्हरसाठी स्वतंत्र असणे आवश्यक आहे.

3.DFS

मी डीएफएस कसे कॉन्फिगर करावे याचे तपशीलवार वर्णन करणार नाही, या समस्येवर पुरेशी माहिती आहे.

डीएफएस ही विंडोज सर्व्हरमधील एक भूमिका सेवा आहे जी वेगवेगळ्या सर्व्हरवर स्थित सामायिक फोल्डर एकत्र करण्याची क्षमता प्रदान करते
MS DFS दस्तऐवजाची लिंक

DFS सेट करण्यापूर्वी, तुम्ही सर्व मेल सर्व्हर थांबवणे आवश्यक आहे जे डेटा सिंक्रोनाइझेशनमध्ये सहभागी होतील.

सेटअप पूर्ण झाल्यावर, तुम्हाला प्रत्येक सिंक्रोनाइझ केलेल्या फोल्डरसाठी खालील प्रतिमा प्राप्त झाली पाहिजे

स्वाभाविकच, आम्हाला प्रतिकृती फोल्डर प्रकाशित करण्याची आवश्यकता नाही.

प्रतिकृती झाल्यानंतर (आणि तेथे प्रतिकृती तयार करण्यासाठी विशेष काही नाही - फोल्डर रिक्त आहेत), मेल सर्व्हर सुरू केले जाऊ शकतात.

पुढे, तुम्ही एक मेल सर्व्हर डेटासह भरू शकता आणि डेटाची प्रतिकृती योग्यरित्या तयार केली आहे का ते तपासा.

4. क्रॅच

परावर्तनाचे वर्णन

डेटा सिंक्रोनाइझ (DFS) सुरू झाल्यानंतर तुम्ही पाहू शकता, जर तुम्ही पहिल्या सर्व्हरवर काहीतरी तयार केले असेल, तर दुसऱ्या सर्व्हरवर काहीही दिसत नाही, किंवा ते दिसते पण नेहमीच नाही.

निराश होऊ नका; अर्थातच, ते तेथे लवकर किंवा नंतर दिसून येईल, परंतु नंतरपेक्षा लवकर चांगले. कारण 6-12 तासात खूप उशीर झालेला असतो.

गोष्ट अशी आहे की आपण पहिल्या सर्व्हरवर काहीतरी तयार केल्यावर, दुसर्‍या आणि त्यानंतरच्या सर्व्हरवर फाइल ताबडतोब दिसून येईल DFS सिस्टमचे आभार, परंतु जर ही मेल निर्देशिका आधीपासून कोणीतरी वाचली असेल तर. आणि पुन्हा विनंती केली जाते, सर्व्हर #msgs फोल्डर पुन्हा वाचणार नाही परंतु त्याच्या स्वतःच्या निर्देशांकातून डेटा बाहेर टाकेल, जो यापुढे आमच्या वास्तविकतेशी संबंधित नसेल.

केरिओकडे निर्देशांक पुन्हा वाचण्याची यंत्रणा आहे, परंतु ती सुमारे सहा तासांत काम करू शकते आणि या 6 तासांमध्ये कॅलेंडरमधील कार्याची प्रासंगिकता काहीशी गमावली जाऊ शकते.
आत्ता सिंक्रोनाइझेशनची चाचणी घेण्यासाठी, मेल सर्व्हरवरील फोल्डरमध्ये पुन्हा प्रवेश केल्यानंतर, तुम्ही संबंधित सिंक्रोनाइझ केलेल्या निर्देशिकेतील index.fld मधील फाइल हटवू शकता आणि ही फाइल गहाळ असल्यास, Kerio निर्देशिका आणि डेटा पुन्हा वाचेल. दिसून येईल. असे दिसते की हा उपाय आहे, जेव्हा डेटा बदलतो तेव्हा फाइल हटवा, परंतु हे प्रत्येक वेळी कार्य करत नाही, परंतु केवळ प्रथमच, नंतर केरियो काही कारणास्तव index.fld मधील सर्व स्वारस्य गमावते.
हे वापरकर्त्याला न समजणारे संदेश देखील थुंकण्यास सुरुवात करते - काही प्रकारच्या निर्देशांकाबद्दल आणि ते तेथे आधीपासूनच काहीतरी करत आहे.

आणखी एक पर्याय आहे, काहीतरी तयार करण्यासाठी - नवीन ऑब्जेक्ट तयार करण्याच्या क्षणी, सर्व्हरला अचानक कळते की त्याला जे फाइल नाव नियुक्त करायचे आहे ते आधीच घेतले गेले आहे, परंतु ते स्नोबॉल आहे आणि हा एक डेड-एंड पर्याय आहे.

कसे असावे?

जर आपण पुन्हा एकदा आपल्यास परिचित असलेल्या चित्राकडे लक्ष दिले तर.

परंतु दुसर्‍या विमानात, आपण एक अतिशय मनोरंजक बटण पाहू शकता जे आम्हाला आता आवश्यक आहे - फोल्डर्स रीइंडेक्स करा

आणि खरंच. सिंक्रोनाइझ केलेल्या #msgs मध्ये आधीच काहीतरी बदलले आहे हे माहीत नसलेल्या मेल सर्व्हरवरील या बटणावर आम्ही क्लिक केल्यास, आम्हाला एक स्थिर, जलद परिणाम मिळेल. लपलेले सर्व स्पष्ट होईल.

लॉगमध्ये आपण पाहू शकता की या प्रक्रियेस किती वेळ लागतो; माझ्या बाबतीत अनेक हजार (15 हजार) रेकॉर्डसह यास सुमारे 3-4 मिनिटे लागतात.

आम्हाला फक्त हे बटण प्रत्यक्षात कसे दाबायचे हे शोधून काढायचे आहे.

ते बाहेर वळते केरिओ त्यांच्या स्वत: च्या आहेत API

वर्णन
दस्तऐवजीकरण

आमचे कार्य करणारे कार्य असे दिसते:
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

वरील सर्व गोष्टींमधून, आम्हाला एक स्क्रिप्ट लिहायची आहे जी स्वारस्य असलेल्या फोल्डरच्या स्थितीवर लक्ष ठेवेल आणि जर काही बदलले असेल तर आम्हाला आवश्यक असलेले कार्य करा.

मला असे म्हणायचे आहे की मी स्क्रिप्टच्या अनेक भिन्न आवृत्त्या लिहिल्या आहेत ज्या वेगवेगळ्या तपासण्या करतात आणि फायलींच्या संख्येवर आधारित सर्व निष्कर्ष काढणार्‍यावर सेटल केले आहेत.

स्क्रिप्ट अंमलबजावणी

सीएमडी स्क्रिप्टचे उदाहरण आणि वर्णन

पुन्हा index.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%CD%LOG"
md "%CD%Setup"

ECHO -Start- >> "%CD%LOG%Computername%.log"
ECHO Start -> %Computername% %Date% %Time% >> "%CD%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%CD%Setup%Computername%.List") do (
  set /a c+=1
  set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%CD%LOG%Computername%.log"
ECHO.
ECHO. >> "%CD%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count        [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count %Date% %Time% - Delete !m%id%! >> "%CD%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%CD%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - %Date% %Time% --- >> "%CD%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%CD%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

स्क्रिप्टची प्रत प्रत्येक मेल सर्व्हरवर चालते (सेवा म्हणून वापरली जाऊ शकते, Adm अधिकार आवश्यक नाहीत)

स्क्रिप्ट फाईल वाचते Setup%Computername%.List

जिथे % Computername% हे सध्याच्या सर्व्हरचे नाव आहे (निर्देशिकेत एकाच वेळी सर्व सर्व्हरच्या सूची असू शकतात.)

फाइल %Computername%.List – मध्ये सिंक्रोनाइझ केलेल्या डिरेक्ट्रीजचे संपूर्ण पथ समाविष्ट आहेत, प्रत्येक पथ नवीन ओळीवर लिहिलेला आहे आणि त्यात रिकाम्या ओळी नसाव्यात.

पहिल्या लाँचनंतर, स्क्रिप्ट आवश्यक आहे की नाही याची पर्वा न करता अनुक्रमणिका प्रक्रिया पार पाडते आणि स्क्रिप्ट प्रत्येक सिंक्रोनाइझ केलेल्या निर्देशिकेतील फायलींच्या संख्येची अनुक्रमणिका देखील तयार करते.

स्क्रिप्टचा उद्देश निर्दिष्ट निर्देशिकेतील सर्व फायली मोजणे हा आहे.

प्रत्येक निर्देशिकेची मोजणी केल्यानंतर, किमान एका निर्देशिकेत फायलींचे वर्तमान मूल्य मागील एकाशी जुळत नसल्यास, स्क्रिप्ट सिंक्रोनाइझ केलेल्या मेल निर्देशिकेच्या मूळ निर्देशिकेतून फायली हटवते: index.fld, indexlog.fld, search.fld आणि सामायिक मेल फोल्डर्सची अनुक्रमणिका प्रक्रिया सुरू करते.

टास्क एक्झिक्यूशनची माहिती LOG डिरेक्ट्रीमध्ये टाकली जाते.

अनुक्रमणिका प्रक्रिया
अनुक्रमणिका प्रक्रिया Kerio API फंक्शन कार्यान्वित करण्यासाठी खाली येते
सत्र = callMethod("Domains.checkPublicFoldersIntegrity",{}, टोकन)

एक उदाहरण अंमलबजावणी मध्ये दिले आहे – python
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie storage is necessary for session handling """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname or ip address of your Kerio Control instance with protocol, port and credentials """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Remotely calls given method with given params.
    :param: method string with fully qualified method name
    :param: params dict with parameters of remotely called method
    :param: token CSRF token is always required except login method. Use method "Session.login" to obtain this token.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 तुम्ही ते जसेच्या तसे सोडू शकता, परंतु तुम्हाला HTTPS आवश्यक असल्यास, python ने Kerio प्रमाणपत्रावर विश्वास ठेवला पाहिजे.

तसेच फाइलमध्ये तुम्ही मेल सर्व्हरचे हे कार्य (Adm - सार्वजनिक मेल फोल्डर्स) करण्यासाठी अधिकारांसह खाते निर्दिष्ट करणे आवश्यक आहे.

मला आशा आहे की माझा लेख Kerio Connect प्रशासकांना उपयुक्त ठरेल.

स्त्रोत: www.habr.com