वितरित केरियो जडान सर्भरहरू बीच साझा फोल्डरहरू, सम्पर्कहरू, क्यालेन्डरहरूको पूर्ण सिङ्क्रोनाइजेसन

शुभ दिउँसो, Habr!

उद्देश्य

मेरो संगठनले Kerio Connect प्लेटफर्ममा मेल सर्भर प्रयोग गर्दछ; मेल सर्भरहरू आफ्ना प्रयोगकर्ताहरूलाई सेवा दिन विभिन्न शहरहरूमा स्थापना गरिएका छन्। प्रारम्भमा त्यहाँ कुनै वितरित संरचना थिएन, किनकि डोमेनहरू तेस्रो स्तरमा भिन्न हुन्छन्, साइटको शहरलाई संकेत गर्दै। सबै काम भयो र सबै खुसी थिए। एक राम्रो दिन, व्यवस्थापनले एक कार्य सेट गर्यो, सबै साइटहरू बीच गतिविधिहरूको साझा क्यालेन्डर!

प्रागितिहास

सुरुमा, केरियो वितरित मेल डोमेन बढाउने विचार थियो र यसले सबै कुरा आफैं गर्नेछ। भनिएको भन्दा चाँडै, एक वितरित डोमेन सिर्जना गरियो, तर त्यो मामला थिएन, सर्भर क्यालेन्डरहरू, फोल्डरहरू, सम्पर्कहरू सिङ्क्रोनाइज गर्न तयार थियो - एउटै सर्भरमा अवस्थित डोमेनहरू बीच, तर धेरै बीच डाटा सिङ्क्रोनाइज गर्न जाँदै थिएन। सर्भरहरू।

निस्सन्देह, मैले यस्तो क्याचको आशा गरेन र लामो समयको लागि विश्वास गर्न सकेन कि मलाई आवश्यक कार्यक्षमता हराइरहेको थियो। पछि मैले यो तथ्यको दस्तावेजी प्रमाण फेला पारे। यो देखेर म धेरै अचम्म र निराश भएँ।

कार्य सहज रूपमा समस्यामा परिणत भयो।

विकल्पहरू के थिए?

• विभिन्न सर्भरहरूमा दुई क्लाइन्टहरू सिर्जना गर्नुहोस् जुन आवश्यक डेटा केहि तेस्रो-पक्ष सफ्टवेयरसँग आदान प्रदान गर्दछ। यो तेस्रो-पक्ष सफ्टवेयर फेला पार्न आवश्यक थियो जसले यो कार्यक्षमता लागू गर्दछ - मलाई यस्तो रेक मनपर्दैन, तर यो मात्र द्रुत समाधान हो जस्तो देखिन्छ।
• सर्भरहरू बीच डाटा सिङ्क्रोनाइजेसनको लागि आफ्नै लिपि लेख्नुहोस्। तथ्य यो हो कि केरियोले प्रत्येक वस्तुलाई छुट्टै फाइलको रूपमा भण्डार गर्दछ, त्यसैले फाइलहरूसँग काम गर्नको लागि स्क्रिप्ट विकास गर्न आवश्यक थियो, तर स्रोतहरूको पर्याप्त संख्यालाई ध्यानमा राख्दै, कार्य केही जटिल देखिन्थ्यो, विशेष गरी धेरै कार्यहरू गर्न आवश्यक भएकोले। डाटाको शुद्धताको लागि जाँच गर्दछ, यदि कसैले सोही अवधिमा कार्य सिर्जना गर्दछ, आदि, आदि।

अगाडि हेर्दै, म भन्छु कि केरियोले एउटा वस्तुलाई छुट्टै फाइलको रूपमा भण्डारण गरे तापनि, तपाईले प्रत्येक पटक वस्तु पहुँच गर्दा फाइल प्रणालीले कसरी गरिरहेको छ भनेर सोध्नु यति मूर्ख छैन।

धेरै समय सोचेर, "शत्रुको इलाका कब्जा गर्ने" योजनाको साथ कागजका टुक्राहरू कोरेर, 6 बजे मैले दुईवटा सही निर्णय गरे:

• पहिलो निर्णय भनेको आफ्नो काम आफै गर्नु हो र बाहिरबाट केहि नहेर्नु हो।
• दोस्रो उपाय सुत्नु हो।

पहिले नै बिहान म एक एकल र साँचो विचार संग उठें, जुन केहि अक्षरहरूमा कम भयो - DFS

निर्णय

समाधान आफैं यस्तो देखियो

• OS Windows मा सिङ्क्रोनाइजेसनमा भाग लिने सबै सर्भरहरू ल्याउनुहोस्। (यसको अंश लिनक्समा थियो। मेल डाटालाई अर्को OS मा माइग्रेसन गर्न आवश्यक थियो)
• सिंक्रोनाइजेसनमा भाग लिने डाइरेक्टरीहरूको संरचना निर्धारण गर्नुहोस् - तिनीहरू समान हुनुपर्छ।
• एकल DFS स्पेसको साथ एक डोमेन अन्तर्गत सबै मेल सर्भरहरू परिभाषित गर्नुहोस्।
• माथि उल्लेखित वितरित केरियो डोमेन सिर्जना गर्नुहोस्, किनकि मेरो मामलामा डाटा सिङ्क्रोनाइजेसन आवश्यक छ, सर्भरहरू बीच मात्र होइन डोमेनहरू बीच पनि; दोस्रो केरियो सर्भरद्वारा स्वतन्त्र रूपमा ह्यान्डल गर्न सकिन्छ। (पहिलो भन्दा फरक)
• DFS स्पेसमा सिङ्क्रोनाइज्ड डाइरेक्टरीहरू सेट गर्नुहोस्।
• कुनै प्रकारको बैसाखी लिएर आउनुहोस् (के पछि, तपाईं बैसाखी बिना बाँच्न सक्नुहुन्न)

कार्यान्वयन

दुई मेल सर्भरहरूमा उदाहरण (हुनसक्छ थप)

1. Kerio वितरित डोमेन

मास्टरले सिंक्रोनाइजेसनमा भाग लिँदैन, तर यो एक पूर्व शर्त होइन।

म केरियो वितरित डोमेन कसरी उठाउने भनेर वर्णन गर्दिन, यसमा केहि जटिल छैन, तपाईले आधिकारिक अध्ययन गर्न सक्नुहुन्छ। manul

अन्ततः, तपाईंले प्रशासन कन्सोलमा निम्न छवि देख्नुपर्छ:

अर्को मलाई साझा फोल्डरहरूमा रुचि थियो; मास्टर सर्भरमा तपाइँ निम्न विकल्पहरू निर्दिष्ट गर्न सक्नुहुन्छ:

प्रत्येक डोमेनको लागि विशिष्ट - सर्भरले डोमेनहरू बीच सार्वजनिक फोल्डरहरू सिङ्क्रोनाइज गर्दैन

सबै डोमेनहरूमा साझा - सबै सर्भरहरूले प्रत्येक डोमेनमा अवस्थित सार्वजनिक फोल्डरहरू त्याग्नेछन् र प्रत्येक मेल सर्भरमा सबै डोमेनहरूको लागि नयाँ एकल फोल्डरहरू सिर्जना गर्नेछन्।

सावधानी यद्यपि यो विकल्पले सबै सर्भरहरूमा कन्फिगरेसन नीति परिवर्तन गर्दछ, यसले प्रत्येक सर्भरबाट अलग-अलग सिङ्क्रोनाइज गर्दछ (अर्थात, एकल साझा ठाउँ बिना)।

प्रशासकसँग अझै पनि प्रयोगकर्ताहरू बीच पहुँच वितरण गर्ने क्षमता हुनेछ।
मेरो मामलामा, ती सबै मेरा हुन् र मलाई पूर्ण सिङ्क्रोनाइजेसन चाहिन्छ (तपाईँको मामलामा, समाधान फरक हुन सक्छ) प्रत्येक सर्भरमा तपाइँले सिङ्क्रोनाइज गर्न आवश्यक डोमेनहरूको समान सेटहरू सिर्जना गर्न आवश्यक छ।

2. केरियो डाटा डाइरेक्टरीहरू

अब तपाईले समान साझा डाइरेक्टरीहरू सिर्जना गर्न आवश्यक छ जुन प्रत्येक सर्भरमा सिंक्रोनाइज गर्न आवश्यक छ। फोल्डरहरू, पात्रोहरू, सम्पर्कहरू।

सल्लाह - अङ्ग्रेजीमा डाइरेक्टरीहरू सिर्जना गर्नुहोस्, यदि तपाईंले तिनीहरूलाई ल्याटिनमा सिर्जना गर्नुभयो भने, डाइरेक्टरीमा केही नबुझेको एन्कोडिङमा नाम हुनेछ, यो कम्तिमा असुविधाजनक छ।

अब तपाईंले प्रत्येक सर्भरमा मेल फोल्डरहरूको भौतिक मार्गहरू फेला पार्न आवश्यक छ।

सबै डोमेनहरूमा साझा ~DataMailmail#publicСинхронизируемый каталог#msgs
प्रत्येक डोमेनको लागि विशिष्ट ~DataMailmail**Domain**#publicСинхронизируемый каталог#msgs

कृपया ध्यान दिनुहोस् कि हामी सम्पूर्ण डाइरेक्टरी सिङ्क्रोनाइज गर्दैनौं, तर डाटासँग कन्टेनर मात्र #msgs - वस्तुहरू आफैं यहाँ भण्डारण गरिएका छन्, अन्य सबै डाटा प्रत्येक सर्भरको लागि अलग हुनुपर्छ।

3.DFS

DFS कसरी कन्फिगर गर्ने भनेर म विस्तृत रूपमा वर्णन गर्दिन, यस मुद्दामा पर्याप्त जानकारी छ।

DFS विन्डोज सर्भरमा एक भूमिका सेवा हो जसले विभिन्न सर्भरहरूमा अवस्थित साझा फोल्डरहरू संयोजन गर्ने क्षमता प्रदान गर्दछ।
MS DFS कागजातमा लिङ्क गर्नुहोस्

DFS सेट अप गर्नु अघि, तपाईंले डाटा सिङ्क्रोनाइजेसनमा भाग लिने सबै मेल सर्भरहरू रोक्नु पर्छ।

सेटअप पूरा भएपछि, तपाईंले प्रत्येक सिङ्क्रोनाइज्ड फोल्डरहरूको लागि निम्न छवि प्राप्त गर्नुपर्छ

स्वाभाविक रूपमा, हामीले प्रतिकृति फोल्डरहरू प्रकाशित गर्न आवश्यक छैन।

प्रतिकृति भएपछि (र त्यहाँ नक्कल गर्न को लागी केहि विशेष छैन - फोल्डरहरू खाली छन्), मेल सर्भरहरू सुरु गर्न सकिन्छ।

अर्को, तपाईँले डेटाको साथ मेल सर्भरहरू भर्न सक्नुहुन्छ र डाटा सही रूपमा प्रतिलिपि गरिएको छ कि छैन जाँच गर्नुहोस्।

4. बैसाखी

प्रतिबिम्बको विवरण

तपाईले डेटा सिङ्क्रोनाइज (DFS) सुरु गरेपछि देख्न सक्नुहुन्छ, यदि तपाईले पहिलो सर्भरमा केहि सिर्जना गर्नुभयो भने, दोस्रो सर्भरमा केहि पनि देखा पर्दैन, वा यो देखिन्छ तर कुनै न कुनै रूपमा सधैं।

निराश नगर्नुहोस्; निस्सन्देह, यो त्यहाँ चाँडै वा पछि देखा पर्नेछ, तर पछि भन्दा चाँडो राम्रो। किनभने यो 6-12 घण्टामा धेरै ढिलो हुन्छ।

कुरा यो हो कि तपाईले पहिलो सर्भरमा केहि सिर्जना गर्ने बित्तिकै, दोस्रो र पछिको सर्भरमा फाईल पक्कै पनि तुरुन्तै देखा पर्नेछ DFS प्रणालीलाई धन्यवाद, तर घटनामा यो मेल डाइरेक्टरी पहिले नै कसैले पढेको छ। र पुन: अनुरोध गरिएको छ, सर्भरले #msgs फोल्डर पुन: पढ्ने छैन तर यसको आफ्नै अनुक्रमणिकाबाट डाटा थुक्नेछ, जुन अब हाम्रो वास्तविकतासँग मेल खाँदैन।

केरियोसँग अनुक्रमणिका पुन: पढ्ने संयन्त्र छ, तर यसले लगभग छ घण्टामा काम गर्न सक्छ, र यी 6 घण्टामा पात्रोमा कार्यको सान्दर्भिकता केही हदसम्म हराउन सक्छ।
अहिले सिंक्रोनाइजेसन परीक्षण गर्नको लागि, तपाईले मेल सर्भरमा फोल्डरमा पुन: पहुँच गरेपछि, सम्बन्धित सिङ्क्रोनाइज्ड डाइरेक्टरी index.fld मा फाइल मेटाउन सक्नुहुन्छ र यदि यो फाइल हराइरहेको छ भने, केरियोले डाइरेक्टरी र डाटा पुन: पढ्नेछ। देखा पर्नेछ। यस्तो देखिन्छ कि यो समाधान हो, डाटा परिवर्तन हुँदा फाइल मेटाउनुहोस्, तर यो हरेक पटक काम गर्दैन, तर पहिलो पटक मात्र, त्यसपछि Kerio कुनै कारणले index.fld मा सबै रुचि गुमाउँछ।
यसले प्रयोगकर्तालाई नबुझेका सन्देशहरू पनि थुक्न थाल्छ - कुनै प्रकारको अनुक्रमणिकाको बारेमा र यसले त्यहाँ पहिले नै केहि गरिरहेको छ।

त्यहाँ अर्को विकल्प छ, केहि सिर्जना गर्न - नयाँ वस्तु सिर्जना गर्ने क्षणमा, सर्भरले अचानक यो थाहा पाउँछ कि फाइल नाम जुन उसले तोक्न चाहान्छ, पहिले नै लिइसकेको छ, तर यो स्नोबल हुन्छ र यो डेड-एन्ड विकल्प हो।

कसरी हुन?

यदि हामीले एक पटक फेरि ध्यान दियौं भने चित्रमा पहिले नै परिचित छ।

तर अर्को विमानमा, तपाईले एउटा धेरै रोचक बटन देख्न सक्नुहुन्छ जुन हामीलाई अहिले चाहिन्छ - फोल्डरहरू पुन: अनुक्रमणिका

र साँच्चै। यदि हामीले मेल सर्भरमा यो बटनमा क्लिक गर्यौं जुन थाहा छैन कि सिंक्रोनाइज #msgs मा पहिले नै केहि परिवर्तन भएको छ, हामी एक स्थिर, छिटो परिणाम प्राप्त गर्नेछौं। लुकेका सबै कुरा स्पष्ट हुनेछन्।

लगमा तपाईले यो प्रक्रिया कति लामो लाग्छ देख्न सक्नुहुन्छ; मेरो केसमा धेरै हजार (15 हजार) रेकर्डहरूसँग यसले लगभग 3-4 मिनेट लिन्छ।

हामीले गर्नुपर्ने भनेको यो बटन वास्तवमा कसरी थिच्ने भन्ने कुरा पत्ता लगाउनु हो जब हामीलाई यो आवश्यक हुन्छ।

यो बाहिर जान्छ केरियो आफ्नै छ एपीआई

विवरण
दस्तावेज

हाम्रो कार्य प्रदर्शन गर्ने प्रकार्य यस्तो देखिन्छ:
session = callMethod("Domains.checkPublicFoldersIntegrity",{}, token)

माथिका सबैबाट, हामीले एक स्क्रिप्ट लेख्न आवश्यक छ जसले रुचिको फोल्डरहरूको अवस्थालाई निगरानी गर्नेछ र, यदि केहि परिवर्तन भएको छ भने, हामीलाई आवश्यक कार्य प्रदर्शन गर्नुहोस्।

म भन्न चाहन्छु कि मैले विभिन्न जाँचहरू गर्ने लिपिहरूको धेरै फरक संस्करणहरू लेखेको छु, र फाइलहरूको संख्यामा आधारित सबै निष्कर्षहरू निकाल्ने एउटामा बसेको छु।

स्क्रिप्ट कार्यान्वयन

CMD लिपि उदाहरण र विवरण

पुन: index.bat

@echo off
set dir=%~dp0
%dir:~0,2%
CD "%~dp0"
md "%CD%LOG"
md "%CD%Setup"

ECHO -Start- >> "%CD%LOG%Computername%.log"
ECHO Start -> %Computername% %Date% %Time% >> "%CD%LOG%Computername%.log"

SetLocal EnableDelayedExpansion
for /f "UseBackQ Delims=" %%A IN ("%CD%Setup%Computername%.List") do (
  set /a c+=1
  set "m!c!=%%A"
)

set d=%c%
Echo Folder = %c%
ECHO Folder = %c% >> "%CD%LOG%Computername%.log"
ECHO.
ECHO. >> "%CD%LOG%Computername%.log"

:start
cls
if %c% LSS 1 exit
set /a id=1
set R=0

:Find
REM PF-Start
if "%id%" gtr "%c%" if %R% == 1 Goto Reindex 
if "%id%" gtr "%c%" timeout 60 && Goto start

For /F "tokens=1-3" %%a IN ('Dir "!m%id%!#msgs" /-C/S/A:-D') Do Set 2DirSize!id!=!DS!& Set DS=%%c
if "2DirSize!id!" == "" set 1DirSize!id!=!2DirSize%id%!

echo %id%
ECHO !m%id%!
echo Count        [ !1DirSize%id%! -- !2DirSize%id%! ]

if "!1DirSize%id%!" == "!2DirSize%id%!" ECHO Synk

REM DEL index.fld
if "!1DirSize%id%!" NEQ "!2DirSize%id%!" del /f /q !m%id%!index.fld && del /f /q !m%id%!indexlog.fld && del /f /q !m%id%!search.fld && set R=1 && ECHO RE-index Count && ECHO RE-index Count %Date% %Time% - Delete !m%id%! >> "%CD%LOG%Computername%.log"

set 1DirSize!id!=!2DirSize%id%!

ECHO.
ECHO.

set /a id+=1
goto Find

:Reindex
ECHO. >> "%CD%LOG%Computername%.log"
ECHO --- RE-INDEX - Start - %Date% %Time% --- >> "%CD%LOG%Computername%.log"
ECHO. >> ----------------------------------- >> "%CD%LOG%Computername%.log"
call PublicFolders.py
timeout 60
goto start

exit

स्क्रिप्टको प्रतिलिपि प्रत्येक मेल सर्भरमा चल्छ (सेवाको रूपमा प्रयोग गर्न सकिन्छ, Adm अधिकारहरू आवश्यक पर्दैन)

स्क्रिप्टले फाइल पढ्छ Setup%Computername%.List

जहाँ % Computername% हालको सर्भरको नाम हो (डाइरेक्टरीले एकै पटकमा सबै सर्भरहरूको सूची समावेश गर्न सक्छ।)

फाइल % Computername%.List - सिङ्क्रोनाइज्ड डाइरेक्टरीहरूको पूर्ण मार्गहरू समावेश गर्दछ, प्रत्येक पथ नयाँ रेखामा लेखिएको छ, र खाली रेखाहरू समावेश गर्नु हुँदैन।

पहिलो प्रक्षेपण पछि, स्क्रिप्टले अनुक्रमणिका प्रक्रिया गर्दछ, चाहे यो आवश्यक छ वा छैन, र स्क्रिप्टले प्रत्येक सिङ्क्रोनाइज डाइरेक्टरीमा फाइलहरूको संख्याको अनुक्रमणिका पनि सिर्जना गर्दछ।

स्क्रिप्टको उद्देश्य निर्दिष्ट डाइरेक्टरीमा सबै फाइलहरू गणना गर्नु हो।

प्रत्येक डाइरेक्टरी गणनाको अन्त्यमा, यदि कम्तिमा एउटा डाइरेक्टरीमा फाइलहरूको हालको मान अघिल्लोसँग मेल खाँदैन भने, स्क्रिप्टले सिङ्क्रोनाइज गरिएको मेल डाइरेक्टरीको मूल डाइरेक्टरीबाट फाइलहरू मेटाउँछ: index.fld, indexlog.fld, search.fld र साझा मेल फोल्डरहरूको अनुक्रमणिका प्रक्रिया सुरु गर्दछ।

कार्य कार्यान्वयनको बारेमा जानकारी LOG डाइरेक्टरीमा डम्प गरिएको छ।

अनुक्रमणिका प्रक्रिया
अनुक्रमणिका प्रक्रिया Kerio API प्रकार्य कार्यान्वयन गर्न तल आउँछ
सत्र = callMethod("Domains.checkPublicFoldersIntegrity",{}, टोकन)

एउटा उदाहरण कार्यान्वयन मा दिइएको छ - python
PublicFolders.py

import json
import urllib.request
import http.cookiejar
""" Cookie storage is necessary for session handling """
jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)
""" Hostname or ip address of your Kerio Control instance with protocol, port and credentials """

server = "http://127.0.0.1:4040"
username = "user"
password = "password"

def callMethod(method, params, token = None):
    """
    Remotely calls given method with given params.
    :param: method string with fully qualified method name
    :param: params dict with parameters of remotely called method
    :param: token CSRF token is always required except login method. Use method "Session.login" to obtain this token.
    """
    data =  {"method": method ,"id":1, "jsonrpc":"2.0", "params": params}

    req = urllib.request.Request(url = server + '/admin/api/jsonrpc/')
    req.add_header('Content-Type', 'application/json')
    if (token is not None):
        req.add_header('X-Token', token)    

    httpResponse = urllib.request.urlopen(req, json.dumps(data).encode())

    if (httpResponse.status == 200):
        body = httpResponse.read().decode()
        return json.loads(body)

session = callMethod("Session.login", {"userName":username, "password":password, "application":{"vendor":"Kerio", "name":"Control Api-Local", "version":"Python"}})
token = session["result"]["token"]
print (session)

session = callMethod("Domains.checkPublicFoldersIntegrity",{"domainId": "test2.local"}, token)
print (session)

callMethod("Session.logout",{}, token)

http://127.0.0.1:4040 तपाईले यसलाई जस्तै छोड्न सक्नुहुन्छ, तर यदि तपाईलाई HTTPS चाहिन्छ भने, python ले Kerio प्रमाणपत्रमा विश्वास गर्नुपर्छ।

साथै फाइलमा तपाईंले मेल सर्भरको यस प्रकार्य (एडएम - सार्वजनिक मेल फोल्डरहरू) प्रदर्शन गर्न अधिकारहरूसँग खाता निर्दिष्ट गर्नुपर्छ।

मलाई आशा छ कि मेरो लेख Kerio Connect प्रशासकहरूको लागि उपयोगी हुनेछ।

स्रोत: www.habr.com