🥇Първи поглед: как работи новата система за корпоративна поща Mailion от MyOffice

Преди почти четири години започнахме да проектираме фундаментално нова разпределена имейл система, Mailion, която е предназначена за корпоративни комуникации. Нашето решение е изградено върху Cloud Native microservice архитектура, способно е да работи с повече от 1 000 000 потребители едновременно и ще бъде готово да покрие 100% от нуждите на големите корпорации.

По време на работата по Mailion екипът нарасна няколко пъти и сега почти 70 разработчици участват в продукта. Изминахме дълъг път от идеята и първите прототипи до етапа на пилотиране на комерсиална версия. Време е да кажем на Habr какъв продукт създаваме, как е структурирана и работи нашата пощенска система, какъв технологичен стек използваме и защо нашето решение е бъдещето на корпоративните комуникации. Да тръгваме!

Хабр, здравей! Казвам се Антон Герасимов, ръководя отдела за развитие в московския център за развитие на компанията Моят офис. Днес бихме искали да представим Mailion, фундаментално нова руска пощенска система от корпоративен клас, която ще се превърне в достойна алтернатива на популярните чуждестранни решения. Mailion има голям капацитет на натоварване, безпрецедентна мащабируемост и толерантност към грешки и изисква минимално внимание от системните администратори.

В момента нашата разработка е в бета фаза, но много скоро, според плана ни, до края на 2020 г., ще се превърне в пилотна реализация на комерсиален продукт.

В по-голямата си част тази статия съдържа обща информация - просто е невъзможно да се говори за сложен софтуерен продукт в една публикация. Планирам да направя поредица от статии, които да говорят за ключови технологии. Междувременно, за ваше удобство, предлагам следното съдържание:

Какво представлява системата за корпоративна електронна поща?
Технологичен стек
От какво се състои продуктът?
Да, наемаме!

Какво представлява системата за корпоративна електронна поща?

Простият и очевиден отговор на този въпрос е инструмент за имейл и календар. Но дяволът, както знаем, е в детайлите.

И така, ние създаваме ново поколение поща с разширени функции за планиране, която е насочена към корпоративния сегмент и големите компании. Ние сме насочени към работа с големи търговски и държавни структури, които могат да имат от 30 хиляди до няколкостотин хиляди работни места.

Нашата система е базирана на принципа на платформено решение. Ние надграждаме концепцията за Unified Communications и предлагаме единен инструмент за работа с поща, календар и документи в рамките на една система, с възможност за увеличаване на функционалността на решението чрез свързване на допълнителни модули и компоненти. Разширенията, между другото, могат да бъдат разработени не само от нас, но и от нашите партньори. За тази цел ще бъде публикуван доста широк инструментариум SDK.

Кой се нуждае от друга поща и защо?

Големите бизнеси са формирали интересна тенденция - предприятията изпитват нужда от функции за сътрудничество. Говорим не само за директно взаимодействие между служителите чрез изпращане на нещо, но и за споделен достъп до пощенски кутии и ролеви акаунти, възможност за работа с големи групи участници и наличие на различни корпоративни функции.

Типична корпоративна функция е механизъм за извикване на писма, който е изключително популярен в големите компании, но практически не се използва нито в B2C сегмента, нито в малкия бизнес. Работата е там, че сред малки групи потребители вероятността да възникне такава нужда е доста малка и цената на грешка е много по-малка. Освен това е просто невъзможно да се приложи тази функция извън системата за корпоративна поща - дори пощата на Google не си спомня писма във формата, с която потребителите на Exchange са свикнали. Коренът на проблема се крие в дизайна на пощенските протоколи от 80-те години на миналия век.

Проведохме десетки фокус групи, анкетирахме стотици потребители и прекарахме няколко хиляди човекочаса в идентифициране на типични сценарии за използване на имейл. Това ни позволи внимателно да проучим нуждите на нашите потенциални потребители и характеристиките на техните бизнес процеси. Въз основа на получените данни решихме да разработим архитектура, която да ни позволи да мащабираме до необходимия обем на натоварване, ако е необходимо. Според нас изобщо няма ограничение, но в момента разбираме как да осигурим работата на компании, които наемат няколкостотин хиляди потребители.

Какво се крие под капака

Нашият продукт включва имейл решение, инструмент за планиране на календар, адресна книга, както и интерактивен преглед на документи, базиран на нашето решение MyOffice за работа с документи.

Тъй като говорим за решение на корпоративно ниво, неразделна част от корпоративната поща е и пълноценна система за търсене. Нашето решение е способно да извършва морфологично търсене от край до край във всички компоненти. В допълнение, цялата пощенска система се базира на собствено хранилище, което също е оптимизирано за сътрудничество.

Какви са разликите между пощенските системи MyOffice?

Читател на Habr, който вече има опит в работата с решенията на MyOffice, знае, че търговските продукти включват „MyOffice Mail“. И възниква въпросът - какви са разликите й от корпоративната имейл система Mailion, върху която работи моят екип?

Ние от MyOffice решихме, че за да отговорим на нуждите на компании с различен размер, е необходимо да създадем две имейл системи от корпоративен клас. Продуктът MyOffice Mail е предназначен за организации, в които броят на потребителите възлиза на хиляди или няколко десетки хиляди. За по-големи структури е по-препоръчително да се използва Mailion – новият продукт на MyOffice, който е изграден върху Cloud Native microservice архитектура и има безпрецедентни възможности за мащабиране и устойчивост на грешки.

При избора на продукти клиентите трябва предварително да вземат решение за стратегията за по-нататъшното развитие на тяхната компания. За всяка организация внедряването на имейл система е сложен проект, който не включва бърза замяна на едно решение с друго. Следователно трябва предварително да се вземат предвид максимално възможното натоварване, устойчивост на грешки и критерии за самовъзстановяване, както и факторът на географско разпределение.

Двете имейл системи MyOffice са коренно различни. Те са изградени с помощта на различни технологични стекове, а инструментите за всяка система са избрани в съответствие с целите и задачите на сегмента, в който ще бъде внедрена пощенската система. Имаме обща продуктова визия за това какво трябва да присъства в пощенските системи, както и синхронизация в подходите при дизайна. Но това са два продукта, които са предназначени за различни аудитории от потребители.

Какви са предизвикателствата пред разработчиците?

По-нататък в текста ще говоря само за новата система за корпоративна поща Mailion.

Проведохме задълбочено проучване и анализирахме предимствата и недостатъците на съществуващите решения за имейл. Натрупаният опит на нашите специалисти, които в миналото са участвали пряко в създаването на системи с високо натоварване, ни позволи бързо да идентифицираме основната болезнена точка на всеки добре познат продукт - производителността на операциите за въвеждане и извеждане на диска (IO) .

Можем да кажем, че задачата за ускоряване на IO операциите се превърна в основното предизвикателство, пред което се изправихме. Беше необходимо да се съсредоточим върху решаването на нашите специфични проблеми и започнахме да създаваме и развиваме собствена двоична система за съхранение на данни. Този подход има много очевиден икономически компонент - трябва не само да съхраняваме данни, но и да извършваме доста операции за въвеждане и извеждане на диска.

Това решение не беше взето леко. Проучихме много продукти от корпоративен клас, които са насочени към съхраняване на информация, и не можахме да намерим нищо готово и подходящо за нашите изисквания. В края на краищата трябва не само да съхраняваме данни, но и постоянно да работим с тях, а не в изключителен режим с достъп до един потребител, а да осигурим възможност за сътрудничество между няколко десетки хиляди потребители.
И така, ние решихме, че корпоративен критерий с най-висок приоритет за нас е работата с големи обеми данни.

Надеждност

Освен това, това не е толкова въпрос на съхранение, колкото задача на обработка и бърз достъп до тази информация. Необходимо е да се осигурят високи показатели за надеждност - времето за непрекъсната работа на цялото решение трябва да бъде на ниво 99,9%. В същото време пощенската система трябва да бъде автономна при вземането на правилните решения относно обработката на отказите. Само по този начин можем да гарантираме липсата на повреди, които могат да парализират бизнес процесите на конкретна компания.

отказоустойчивост

Разработихме набор от мерки, които се прилагат към всеки компонент и избрахме подходи, за да гарантираме устойчивост на грешки. По-специално, системата за корпоративна поща използва обработка на кворум на данни, резервиране на услуги и контрол на отсъствието на техните състояния, както и собствени механизми за маршрутизиране и поддръжка на кворум въз основа на консенсус.

Критерий за висока отказоустойчивост е наличието на механизми за самоконтрол във всеки компонент. Mailion непрекъснато анализира дали тази или онази функция се изпълнява правилно или неправилно, дали този или онзи блок работи правилно. Това е едно от средствата за самолечение на системата в случай на повреда. Информацията не трябва да се губи, решението трябва в крайна сметка да достигне последователно състояние.

Трябва да разберете, че не е възможно да се предвидят всички възможни събития в живота - не можете да заблудите физиката. Но ние се придържаме към такива дизайнерски подходи, които ни позволяват да говорим с доста висока степен на увереност за правилното справяне с аварии на определени модели. Имаме и голяма група за тестване, която винаги се опитва да развали нещо в продукта. И понякога успяват. Този факт задейства инцидент, който ние проучваме в детайли и на негова база създаваме нов механизъм за отстраняване на този вид проблем.

Как системата реагира при аварии

Пазарът често задава въпроса - какво ще се случи със системата, ако внезапно загуби комуникация с някой от своите възли? Тази заявка е особено подходяща, ако планирате да внедрите географски разпределено решение.

При проектирането на такава инсталация е необходимо да се вземат предвид нуждите на клиента и неговия набор от критерии за надеждност. Грешка е да се вярва, че връзката с мрежата за данни е еднаква навсякъде. В корпоративните системи е важно да се вземе предвид дори скоростта на сигнала през оптичното влакно.

Ако клиентът има високи изисквания за надеждност, тогава ще препоръчаме инсталиране в няколко центъра за данни, които ще бъдат свързани чрез специални комуникационни линии.
Въпреки това не може да се изключи сценарий за пълно прекъсване на електрозахранването в един от възлите на пощенската система. В този случай работата с основните данни на този сегмент ще спре, но останалите части ще работят така, сякаш нищо не се е случило. Системата ще уведоми администраторите, че даден възел е загубен и от служителите ще се изисква да предприемат подходящи действия.

Освен това нашата пощенска система може да бъде конфигурирана по такъв начин, че резервациите да се извършват в центъра за данни. Този подход ще осигури работоспособност в случай на загуба на няколко възела в центъра за данни и никой няма да забележи загубата на един от възлите - освен, разбира се, системата за наблюдение. Когато се случи такова събитие, натоварването просто се преразпределя. Ето защо при проектирането на пощенска система е важно да се вземе предвид маржът - колко и кои компоненти могат да бъдат „загубени“ при инцидент.

независимост

Няма абсолютно надеждни системи и може да се случат повреди, по един или друг начин. Ето защо при проектирането на пощенска система е важно да се осигури възможност за бързо локализиране на повреди, което ще им позволи да бъдат елиминирани в рамките на определен SLA период. Освен това неизправностите трябва да бъдат коригирани от системата независимо, като същевременно се минимизира намесата на системните администратори и оперативните служби.

Лесна работа

Разбира се, големите системи не могат да не изискват вниманието на висококвалифицирани служители. Но един от аспектите, които вземаме предвид при проектирането, е, че системата трябва да бъде лесна за администриране и да не изисква никакви уникални компетенции.

Икономическа ефективност

Разбира се, за работа с такива корпоративни системи е необходимо обучение на служителите - все пак говорим за наистина огромен мащаб. Ето защо, когато създавахме нашия продукт, ние се фокусирахме върху намаляването на общите разходи за притежание на системата. За всеки бизнес е важно да следите ефективността на разходите и да се стремите да избягвате безкрайното наливане на пари в оперативни разходи.

Децентрализация

За да се постигнат принципите, за които говорих по-рано, системата трябва да бъде напълно разпределена - централизираният подход винаги е ограничен от условията на използване на хардуера.

Разбира се, можете да закупите един голям сървър и да опитате да инсталирате всички приложения и услуги на него. Но колкото по-голяма е системата, толкова по-сложен е целият дизайн и надеждността на такава система непрекъснато намалява - в края на краищата един сървър означава една точка на повреда. И колкото повече централизираме работата, толкова повече зависим от тази централна точка.

Системни изисквания

Когато говорим за сложни корпоративни имейл системи, трябва да разберем, че няма такова нещо като „минимална конфигурация за работа“. Основата на всяко голямо изпълнение винаги е сериозна проектантска работа. Тя ви позволява да свържете нуждите на конкретен бизнес и оптималната конфигурация на пощенската система.

Корпоративната имейл система е гъвкав инструмент, който може да бъде конфигуриран според голям брой параметри. Извършваме тестове за натоварване по собствена методология, която ни позволява да симулираме натоварването въз основа на анализ на дузина основни и няколкостотин възможни критерия.

Можем да кажем, че при изготвянето на проект за внедряване именно изчисленията ще покажат интензивността на работата на потребителите в съществуващите бизнес процеси на организацията. В този случай се анализират много входни параметри и в зависимост от възможното натоварване се взема решение за необходимото количество изчислителна мощност - от един компютър до цяла компютърна зала.

Следователно да се говори за някакви минимални конфигурации не е съвсем правилно. По-специално имаме и демонстрационен стенд, който работи само на една машина. Но разбираме, че работата в корпоративния сегмент изисква инсталиране на десетки и дори стотици виртуални машини.

Технологичен стек

При създаването на продукти обръщаме специално внимание на лицензираната чистота на кода. MyOffice е установил и поддържа високи стандарти за качество, които изискват от нас да разработваме изцяло продукти независимо, с минимално участие на външен код.

Голяма част от кода на Mailion е наш собствен, код, върху който притежаваме изцяло правата и който можем да променяме и модифицираме, ако е необходимо. По-голямата част от кода за нашата имейл система е написан вътрешно на Go (Golang). Освен Go, ние използваме C++, както и Java Script ES6 за уеб частта.

Останалите 5% са така наречените „тежки компоненти“, като бази данни. Те включват RethinkDB, ArangoDB и Redis. Сред ключовите технологии ще отбележа и gRPC - система за отдалечено извикване на процедури, която се използва като един механизъм за взаимодействие чрез API, това е важна част.

От какво се състои продуктът?

Корпоративната имейл система не е „сървър във вакуум“. Нашият продукт включва около 70 компонента и 45 услуги, които поддържат пощенската система. Всички тези елементи са написани „от нулата“ и са собствена разработка на MyOffice.

Най-забележимата част от системата е сървърният комплекс, който осигурява системи за съхранение, поща, календар и търсене и уеб клиент. Ние също така разработваме няколко потребителски приложения и планираме да предложим на нашите потребители нови „тънки клиенти“, базирани на нашите уеб клиентски технологии до момента на търговското пускане.

Съвместимост с пощенски системи

Mailion работи по стандартни протоколи. За да започнете да използвате нашето решение, трябва само да конфигурирате клиентските приложения и да продължите да работите с тях в обичайната си среда. Например, можете да използвате клиентското приложение, включено в продукта MyOffice Mail.

Освен това, за удобство на нашите потребители, създадохме специален плъгин, който осигурява безпроблемен преход от Exchange. С негова помощ потребителите ще могат да продължат да работят с MS Outlook при подмяна на пощенски сървър - те дори няма да забележат, че нещо се е променило в обичайното им взаимодействие с комуникационните инструменти. Този плъгин ви позволява плавно да прехвърляте потребители от предишната пощенска система, без да спирате работата на цялата организация. Това е особено важно, ако трябва да замените инструменти, за да обслужвате стотици хиляди потребители.

Лекота на администриране

Особеността на нашата система за корпоративна поща е, че тя изисква изключително малко участие от страна на администраторите. При проектирането се опитахме да намерим баланс между възможността за персонализиране и сложността на управлението. За да постигнем това, трябваше да проведем много изследвания на поведенческите модели на администраторите на сложни корпоративни системи.

Екипът ни се състои, както казах по-рано, от висококвалифицирани специалисти - всеки от тях има солиден административен опит. Затова при разработването на системата се опитахме да пренесем техния опит към нуждите на потребителите при управлението на сложен продукт. С други думи, знаейки за потенциалните проблеми, ние проактивно предоставихме начини за разрешаването им на ниво архитектурен дизайн.

Например,

Осигурено е изолиране на системни компоненти в контейнери, включително инфраструктурни - това ни помага да повишим нивото на сигурност, гъвкаво да конфигурираме достъпа между компонентите, а също така ни позволява бързо да включваме нови елементи, изисквани от бизнеса, в списъка на поддържаните системи и платформи;
унифициран подход към разработката и внедряването, единен конфигурационен формат за всички компоненти допринасят за по-ясна и по-ефективна работа и намаляват разходите за поддръжка;
вашият собствен системен инсталатор, базиран на познати инструменти за внедряване, ви позволява да управлявате инсталацията централизирано, гъвкаво и ясно;
микросервизната архитектура с ясно разделение на отговорностите на бизнес логиката между услугите помага да се разбере схемата на работа на системата и да се осигури по-ефективна поддръжка;
инфраструктурната част на системата е базирана на познати решения, използвайки най-добрите практики, а също така позволява интеграция със съществуващи системи в предприятието, което улеснява въвеждането на системата в експлоатация в компанията;
За целта хранилището ще разполага със система, базирана на изкуствен интелект, която ще може самостоятелно да идентифицира потенциални повреди и да контролира оборудването.

Модерен дизайн

Създаването на дизайна на продукта отне няколко хиляди човекочаса. Задачата на разработката беше интерфейсът да бъде модерен - лесен и интуитивен. Това е трудно, когато проектирате корпоративна система, която по подразбиране трябва да включва редица специфични функции.

Разбира се, дизайнът не може да бъде „издълбан в камък“ или одобрен с подпис и печат – той е жив инструмент, непрекъснато се развива и подобрява. В продължение на четири години променихме дизайна няколко пъти, но нямаше радикална промяна в идеологията. Основният принцип за изграждане на цяла корпоративна продуктова линия е създаването на универсална система за дизайн.

При проектирането на дизайна на система за корпоративна електронна поща, ние обърнахме специално внимание на развитието на три ключови области - адаптивност, последователност и способност за адаптиране към корпоративния стил на клиента.

Адаптивност

Особеност на дизайна на интерфейсите на корпоративната пощенска система Mailion е възможността за показване на устройства с екрани с всякакъв размер. Всички визуални компоненти са внимателно изобразени, мащабират се правилно, когато работят на мобилни устройства и са чудесни дори за управление с пръсти на сензорни екрани. Освен това, когато промените размера на прозореца на приложението, оформлението на колоните също се трансформира - размерът на колоните се измества пропорционално, в строго съответствие с постулатите на концепцията за богати интернет приложения.

Последователност

Дизайнът на системата за корпоративна електронна поща Mailion се основава на систематичен подход. Развиваме тази област от началото на 2017 г., когато не беше толкова модерно да се говори за дизайнерски системи, колкото е сега. Системата за проектиране е набор от правила и инструменти за визуално и техническо изпълнение, които отразяват философията на продукта и непрекъснато се развиват. Въведохме го, за да опростим комуникацията между разработката и дизайна.

Създаване на корпоративна идентичност

Нашият дизайн е „хамелеон“, способен да се адаптира към фирмения стил на всеки клиент. Цветовете на всички елементи на интерфейса се определят чрез променливи. По този начин, като промените основния набор от няколко цвята, можете да преоцветите всички приложения наведнъж.

Шрифтовете също се дефинират чрез променливи: интерфейсът може да използва корпоративния шрифт на компанията клиент, ако това е предвидено в книгата на марката на клиента. В същото време различните шрифтове могат да имат различни размери на буквите и ние вземаме това предвид. Например PT Sans в размер 16 изглежда значително по-малък от Roboto в същия размер 16. Поради това ние коригираме размера на текстовите блокове към характеристиките на конкретен шрифт.

Ще посветим отделни статии на структурата на нашата цветова библиотека и характеристиките на работата с шрифтове.

Мобилни Apps

Неразделна част от всяка съвременна имейл система са мобилните приложения – потребителите трябва да могат да работят от всяко място и по всяко време.
Сега ние просто формираме концепцията за корпоративни мобилни приложения; те трябва да вземат предвид разликите във функционалността на имейл системите MyOffice и да предлагат различни подходи към използването на имейл и календарни системи в корпорациите.

Интелигентен медиен панел

Нашите фокус групи показаха, че потребителите намират интерфейсите на традиционните имейл системи за тромави. Анкетираните, които интервюирахме, отбелязаха, че работата с календарни събития и прикачени файлове е особено трудна. Опитахме се да постигнем отзивчив интерфейс и да увеличим производителността - за да направим нашия продукт приятен за използване.

Media Panel, нов инструмент за ускоряване на сътрудничеството, организира цялата информация за кореспонденцията и осигурява незабавен достъп до списък с участници в кореспонденцията, връзки и версии на документи, които някога са били изпращани.

Този инструмент помага в ситуации, в които потребителите трябва да работят с големи следи от стотици съобщения. Често се случва да трябва да намерите документ или снимка, които са били само в един от тях. Медийният панел създава списък с всички елементи от имейл верига и ги показва на едно място. В резултат на това намирането на желания обект става много по-лесно.

локализация

Не само руските потребители имат нужда от система за корпоративна електронна поща. MyOffice следва последователна политика за навлизане на чуждестранни пазари, така че се обръща доста голямо внимание на въпросите за локализация на продуктите.

В нашия продукт необходимостта от локализация на чужди езици беше заложена първоначално на нивото на основната част на системата. Само по себе си добавянето на нови езици не е голям проблем за нас - това е напълно разбираема задача, която знаем как да решим.

В момента руските и английските езици са достъпни за потребителите. В предстоящите версии ще добавим поддръжка към корпоративната имейл система за езиците, на които работят продуктите на MyOffice – френски, испански, португалски и други. В някои отношения е по-лесно за нас, отколкото за колегите от съседните отдели, тъй като за системите за поща и календар трябва да вземем предвид само азбуката и характеристиките на работа с дати и часове - за щастие нямаме формули като в редактор на електронни таблици.

Да, наемаме!

Отне няколко стотин човеко-години, за да създадем нашия продукт. И дори да исках, нямаше да мога да ви разкажа всичко наведнъж в една статия. Въпреки това се надявам, че тази публикация ще послужи като отправна точка за запознаване с нашия продукт - както казах по-горе, планирам да говоря по-подробно в бъдеще както за самото решение и неговите характеристики, така и за нашата разработка подходи.

Без сянка на скромност ще кажа също, че днес броят на компаниите, които разработват такива пощенски системи по целия свят, е само няколко. Това е наистина сложна инженерна задача, която изисква дълбоко разбиране на нуждите на корпоративните клиенти и задълбочен анализ на бизнес процесите на големите организации, съвременните тенденции в дизайна и разработката, както и значителен брой компетентни специалисти. Нашата пощенска система се развива всеки ден.

В момента сме почти отворени петдесет свободни работни места в разработка. Елате да работите с нас, ако искате да работите с нас, за да създадем продукт, който може да промени начина, по който корпоративният свят мисли за имейла.

Източник: www.habr.com