🥇Първи поглед: как е изградена новата корпоративна пощенска система Mailion от МойОфис

Почти четири години назад започнахме да проектираме принципно нова разпределена пощенска система Mailion, предназначена за корпоративни комуникации. Нашето решение е построено на облачно-native микросервизна архитектура, способна да работи с над 1 000 000 потребители едновременно и ще бъде готова да покрие 100% нуждите на големите корпорации.

През времето, в което работим над Mailion, екипът нарасна многократно, а в продукта вече са ангажирани почти 70 разработчици. Преминахме дълъг път от идея и първи прототипи до етап на пилотно внедрение на търговската версия. Време е да разкажем на Хабр какво е продуктът, който създаваме, как функционира и работи нашата пощенска система, какъв стек технологии използваме и защо нашето решение е бъдещето на корпоративните комуникации. Да започваме!

Хабр, здравейте! Аз съм Антон Герасимов, ръководя департамента по разработка в московския кайтер за разработка на компанията МойОфис. Днес искаме да представим Mailion — принципно нова руска корпоративна пощенска система, която ще стане достоен заместител на популярните чуждестранни решения. Mailion има висока натоварваща способност, безпрецедентни възможности за мащабиране и устойчивост на грешки, а също така изисква минимално внимание от страна на системните администратори.

Сега нашето разработка е в бета версия, но съвсем скоро, по нашия план до края на 2020 година, ще премине в статус на пилотно внедрение на търговския продукт.

По-голямата част от тази статия съдържа обща информация — трудно е да се разкаже за сложен софтуерен продукт в една публикация. Планирам да направя серия от статии, които ще разкажат за ключовите технологии. А засега, за ваше удобство, предлагам следното съдържание:

Какво е корпоративна пощенска система?
Технологичен стек
От какво се състои продуктът
Да, ние наемаме!

Какво е корпоративна пощенска система?

Простият и очевиден отговор на този въпрос е средство за работа с електронна поща и календар. Но дяволът, както е известно, се крие в детайлите.

Така че, ние създаваме поща от ново поколение с разширени функции за планиране на календар, която е насочена към корпоративния сектор и големи компании. Ние сме насочени към работа с големи търговски и държавни структури, в които могат да има от 30 хиляди до няколко стотин хиляди работни места.

В основата на нашата система лежи принципът на платформено решение. Ние се основаваме на концепцията за Unified Communications и предлагаме единен инструмент за работа с електронна поща, календар и документи в една система, с възможност за разширяване на функционалността на решението чрез свързване на допълнителни модули и компоненти. Разширения, между другото, могат да бъдат разработени не само от нас, но и от нашите партньори. За тази цел ще бъде публикуван и доста широк инструментариум за SDK.

На кого и защо му трябва още една поща?

Големият бизнес е създал интересен тренд — предприятията изпитват необходимост от функции за съвместна работа. Става въпрос не само за непосредствено взаимодействие на служителите чрез пренос на неща, а именно за съвместен достъп до имейл и ролеви пощи, възможност за работа с големи групи участници и наличието на различни корпоративни функции.

Типичната корпоративна функция — механизмът за оттегляне на имейли, който е изключително търсен в големите компании, но практически не се използва нито в B2C сектора, нито в малкия бизнес. Всичко е в това, че сред малките групи потребители вероятността за възникване на такава необходимост е доста малка, а цената на грешката е много по-ниска. Освен това реализирането на тази функция извън корпоративната пощенска система просто не е възможно — дори в Google пощата няма оттегляне на имейли в онази форма, на която потребителите на Exchange са свикнали. Коренът на проблема е в устройството на пощенските протоколи от 80-те години на миналия век.

Проведохме десетки фокус групи, анкетираме стотици потребители и вложихме хиляди човекочасове, за да установим типични сценарии на използване на електронна поща. Това ни позволи да изучим задълбочено нуждите на нашите потенциални потребители и спецификите на техните бизнес процеси. На базата на получените данни решихме да проектираме архитектура, която да позволява мащабиране при необходимост до нужния обем натоварване. В нашето виждане — предел не съществува, но в момента разбираме как да осигурим работата на компании, в които работят няколкостотин хиляди потребители.

Какво се крие под капака

В състава на нашия продукт влизат решение за електронна поща, инструмент за календарно планиране, адресна книга, както и интерактивен преглед на документи, базирани на нашето решение МойОфис за работа с документи.

Тъй като говорим за корпоративно решение, неизменна част от корпоративната поща е и пълнофункционална търсачка. Нашето решение е способно да извършва прозрачен морфологичен търсене по всички компоненти. Освен това, цялата пощенска система се базира на собствено хранилище, което също е оптимизирано за съвместна работа.

Какви са различията между пощенските системи МойОфис

Читателят на Хабър, който вече е имал опит с решенията МойОфис, знае, че в състава на търговските продукти присъства 'МойОфис Почта'. И възниква въпросът — какви са разликите между нея и корпоративната пощенска система Mailion, върху която е работил моят екип?

Ние в МойОфис решихме, че за да отговорим на нуждите на компании с различен мащаб, е необходимо да създадем две пощенски системи от корпоративен клас. Продуктът 'МойОфис Почта' е предназначен за организации, в които броят на потребителите е в порядъка на хиляди или няколко десетки хиляди. За по-големи структури е по-разумно да се прилага Mailion — новият продукт на МойОфис, който е построен на Cloud Native микросервисна архитектура, предлага безпрецедентни възможности за мащабиране и отказоустойчивост.

При избора на продукти клиентите тряба да се определят предварително за стратегията за по-нататъшно развитие на своята компания. За всяка организация внедряването на имейл система е сложен проект, който не предполагава бърза замяна на едно решение с друго. Затова максимално възможната натовареност, критерии за отказоустойчивост и самовъзстановяване, както и факторът географско разпределение, трябва да се вземат предвид предварително.

Двете имейл системи МойОфис са принципно различни. Те са изградени с използването на различни технологични стекове, а инструментите за всяка от системите са избрани в съответствие с целите и задачите на сегмента, в който ще бъде внедрена имейл системата. Имаме обща продуктова визия за това, което трябва да присъства в имейл системите, както и синхронизация в подходите към дизайна. Но това са два продукта, предназначени за различна аудитория от потребители.

Какви предизвикателства стоят пред разработчиците

По-нататък в текста ще говоря само за новата корпоративна имейл система Mailion.

Извършихме задълбочено проучване и анализирахме предимствата и недостатъците на съществуващите имейл решения. Натрупаният опит на нашите специалисти, които в миналото са имали пряко отношение към създаването на високо натоварени системи, ни позволи бързо да идентифицираме основната болева точка на всеки известен продукт — производителността на дисковите операции за вход и изход (IO).

Можем да кажем, че задачата за ускоряване на IO операциите стана основно предизвикателство, с което се сблъсквахме. Необходимо беше да се съсредоточим върху решаването на нашите конкретни задачи и започнахме да създаваме и развиваме собствена система за съхранение на бинарни данни. Този подход има напълно очевиден икономически аспект — трябва не само да съхраняваме данни, но и да извършваме достатъчно много операции за дисков вход и изход.

Това решение не беше лесно. Изследвахме множество корпоративни класови продукти, насочени към съхранение на информация, и не успяхме да намерим нищо готово и подходящо за нашите изисквания. Нуждаем се не само от съхранение на данни, но и от постоянно взаимодействие с тях, при това не в монополен режим с достъп на един потребител, а да осигурим възможност за колаборация между десетки хиляди потребители.
Така установихме, че най-приоритетният корпоративен критерий за нас е работата с големи обеми данни.

Надеждност

Това не е толкова въпрос на съхранение, колкото задача за обработка и бърз достъп до тази информация. Трябва да се осигурят високи показатели за надеждност — времето на непрекъсната работа на цялото решение трябва да бъде на ниво 99,9%. При това, пощенската система трябва да бъде автономна в взимането на правилни решения за обработка на откази. Само по този начин можем да избегнем сривове, способни да парализират бизнес процесите на всяка компания.

Отказоустойчивост

Разработихме комплекс от мерки, които се прилагат за всеки компонент, и селектирахме подходи за осигуряване на отказоустойчивост. По-специално, в корпоративната пощенска система се прилага работа с кворумни данни, резервиране на услуги и контрол на отсъствията им от състояние, а също и собствени механизми за маршрутизиране и поддръжка на кворум на база консенсус.

Критерият за висока отказоустойчивост е наличието на механизми за самопроверка във всеки компонент. Mailion постоянно анализира дали определена функция се изпълнява правилно или неправилно, дали конкретен блок действа коректно. Това е едно от средствата за само-възстановяване на системата в случай на сбой. Информацията не трябва да се губи, а решението трябва да премине в консистентно състояние в крайна сметка.

Трябва да разберем, че не е възможно да предвидим всички възможни събития в живота — физиката не може да бъде измамена. Но ние се придържаме към подходи в проектирането, които ни позволяват с достатъчно висока степен на уверенность да говорим за коректната обработка на аварии на определени модели. Имаме и голяма тестова група, която постоянно се опитва да счупи нещо в продукта. И понякога успяват. В такъв случай се регистрира инцидент, който детайлно разглеждаме и на неговата основа създаваме нов механизъм за решаване на подобен род проблеми.

Как системата реагира на аварии

Пазарът често задава въпроса — какво ще се случи със системата, ако внезапно изгуби връзка с един от своите възли? Такова запитване е особено актуално, ако се планира внедряване на географски разпределено решение.

При проектирането на такава инсталация е необходимо да се вземат предвид нуждите на клиента и неговият набор от критерии за надеждност. Грешно е да се предполага, че свързването към мрежата за предаване на данни е навсякъде едно и също. В корпоративните системи е важно да се вземе предвид дори скоростта на преминаване на сигнала по оптично влакно.

Ако клиентът поставя високи изисквания към надеждността, ще препоръчаме инсталирането в няколко дата центрове, които ще бъдат свързани с частни линейни връзки.
Въпреки това не може да се изключи и сценарият на пълно прекъсване на електричеството в един от възлите на пощенската система. В този случай работа с главните данни на този сегмент ще спре, но останалите части ще продължат да работят, сякаш нищо не се е случило. Системата ще уведоми администраторите за загубата на възел, и служителите ще трябва да предприемат редица съответни действия.

Също така, нашата пощенска система може да бъде настроена по такъв начин, че резервирането да се извършва вътре в дата центъра. Този подход ще осигури функционирането при загуба на няколко възли в ЦОД, като загубата на един от възлите никой няма да забележи — освен, разбира се, системата за мониторинг. При възникване на такова събитие натоварването просто ще бъде преразпределено. Затова, при проектирането на пощенската система, е важно да се вземе предвид резерв — колко и какви компоненти ще могат да "загубят" при авария.

Самостоятелност

Напълно надеждни системи не съществуват и откази рано или късно могат да се случат. Затова при проектиране на пощенска система е важно да се осигури възможност за бърза локализация на повреди, която да позволи тяхното отстраняване в рамките на определен SLA период. Освен това повредите трябва да се отстраняват автоматично от системата, минимизирайки намесата на системните администратори и експлоатационните услуги.

Лесно експлоатиране

Разбира се, големите системи не могат изцяло да не изискват внимание от висококвалифицирани специалисти. Но един от аспектите, които разглеждаме при проектирането, е, че системата трябва да бъде лесна за администриране и да не изисква уникални компетенции.

Икономическа ефективност

Безспорно, за работа с подобни корпоративни системи е нужна подготовка на персонала — за нас става дума за наистина огромни мащаби. Затова при създаването на нашия продукт акцентирахме на намаляването на общата стойност на притежание на системата. За всякакъв бизнес е важно да следи ефективността на разходите и да се стреми да избегне безкрайното наливане на пари в оперативни разходи.

Децентрализираност

За да се осигурят принципите, за които говорих по-рано, е необходимо системата да бъде напълно разпределена — централизиран подход винаги е ограничен от условията на използване на хардуера.

Разбира се, може да се купи един голям сървър и да се опитат да се инсталират всички приложения и услуги на него. Но колкото по-голяма е системата, толкова по-сложна става конструкцията, а надеждността на такава система неумолимо намалява — все пак един сървър означава единна точка на отказ. И колкото повече централизиране имаме, толкова повече зависим от тази централна точка.

Системни изисквания

Когато говорим за сложни корпоративни пощенски системи, трябва да разберем, че концепцията за „минимална конфигурация за работа“ не съществува. В основата на всяко голямо внедряване винаги стои сериозен проектен труд. Той позволява да се съотнесат нуждите на конкретния бизнес и оптималната конфигурация на пощенската система.

Корпоративната пощенска система е гъвкав инструмент, който може да бъде настроен в съответствие с многобройни параметри. Провеждаме натоварващо тестване по собствена методология, която позволява моделирането на натоварването, базирано на анализа на десетки основни и стотици възможни критерии.

Може да се каже, че при подготовката на проекта за внедряване именно изчисленията ще покажат интензивността на работата на потребителите в съществуващите бизнес процеси на организацията. При това се анализират много входни параметри и в зависимост от възможното натоварване се взема решение за необходимия обем изчислителни мощности – от един компютър до цяла компютърна зала.

Следователно, говоренето за някакви минимални конфигурации не е съвсем коректно. По-специално, имаме и демонстрационен стенд, който работи само на една машина. Но разбираме, че работата в корпоративния сегмент изисква инсталация на десетки и дори стотици виртуални машини.

Технологичен стек

При създаването на продуктите обръщаме особено внимание на лицензионната чистота на кода. В МойОфис са установени и действат високи стандарти за качество, които изискват от нас самостоятелно да разработваме продуктите напълно, с минимално привличане на външен код.

Голям дял от кода на Mailion е собствена разработка, код, чиито права напълно принадлежат на нас и който можем да променяме и доразвиваме при необходимост. По-голямата част от кода на нашата пощенска система е написана самостоятелно на Go (Golang). Освен Go, използваме C++, както и Java Script ES6 за уеб частта.

Останалите 5% са т. нар. 'тежки компоненти', като бази данни. Те включват RethinkDB, ArangoDB и Redis. От ключовите технологии ще отбележа още gRPC – система за отдалечени процедурни извиквания, която се използва като единен механизъм за взаимодействие по API, важна част от нашата система.

От какво се състои продуктът

Корпоративната пощенска система не е 'сървър в вакуум'. Нашият продукт включва около 70 компонента и 45 услуги, които осигуряват функционирането на пощенската система. Всички тези елементи са написани 'от нулата' и са собствена разработка на МойОфис.

Най-очевидната част на системата е сървърният комплекс, който осигурява работата на хранилището, пощенската, календарната и търсачната система, и уеб клиента. Разработваме и няколко потребителски приложения и планираме до момента на търговския релиз да предложим на нашите потребители нови "тънки клиенти" на технологиите на нашия уеб клиент.

Съвместимост с пощенските системи

Mailion работи по стандартни протоколи. За да започнете да използвате нашето решение, е необходимо само да настроите клиентските приложения и след това да работите с тях в удобната среда. Например, можете да използвате входящото в продукта клиентско приложение "МойОфис Почта".

Също така за удобството на нашите потребители създадохме специален плъгин, който осигурява безпроблемен преход от Exchange. С него потребителите ще могат, при смяна на пощенския сървър, да продължат да работят с MS Outlook — те дори няма да забележат, че в тяхното познато взаимодействие със средствата за комуникация се е променило нещо. Такъв плъгин позволява плавно пренасяне на потребителите от предишната пощенска система, без спиране на работата на цялата организация. Това е особено важно, ако трябва да замените средствата за работа на стотици хиляди потребители.

Лесно администриране

Характеристика на нашата корпоративна пощенска система е необходимостта от изключително малко участие на администраторите. При проектирането се постарахме да намерим баланс между възможността за персонализация и сложността на управлението. За да постигнем това, трябваше да проведем множество изследвания на поведението на администраторите на сложни корпоративни системи.

В екипа ни работят, както вече споменах, специалисти с висока квалификация — всеки от тях има солиден опит в администрирането. Затова при разработването на системата се постарахме да пренесем техния опит върху нуждите на потребителите при управлението на сложен продукт. Иначе казано — познавайки потенциалните проблеми, предварително предвидихме начини за тяхното решение на ниво проектиране на архитектурата.

Например,

предвидена изолация на компонентите на системата в контейнери, включително инфраструктурни – това ни помага да повишим нивото на сигурност, гъвкаво да настроим достъпа между компонентите и също така позволява бързо да добавяме нови системи и платформи, търсени от бизнеса;
единен подход към разработването и разгръщането, единен формат на конфигурация на всички компоненти спомага за по-разбираема и ефективна работа и намалява разходите по поддръжката;
собствен инсталатор на системата, на база на познатите инструменти за разгръщане, позволява централизирано, гъвкаво и ясно управление на инсталацията;
микросервисната архитектура с ясно разделение на отговорността на бизнес логиката между услугите помага да се разбере схема на работа на системата и да се извършва по-ефективна поддръжка;
инфраструктурната част на системата е базирана на познати решения, с използване на най-добрите практики и също така позволява интеграции с вече съществуващите системи в предприятието, което опростява въвеждането на системата в експлоатация вътре в компанията;
в хранилището ще бъде предвидена система на база изкуствен интелект, която ще може самостоятелно да открива потенциални откази и да управлява оборудването.

Съвременен дизайн

На създаването на дизайна на продукта са отишли хиляди човеко-часове. Преди разработката стоеше задачата да се направи интерфейсът модерен - лек и интуитивно разбираем. Това е трудно, когато проектираш корпоративна система, която по подразбиране трябва да включва редица специфични функции.

Разбира се, дизайнът не може да бъде "изсечен в камък" или утвърден под подпис и печат - това е жив инструмент, който постоянно се развива и усъвършенства. През четири години трансформирахме дизайна няколко пъти, но при това нямаше радикална смяна на идеологията. Ключовият принцип на изграждането на цялата корпоративна продуктова линия е създаването на универсална система за дизайн.

При проектирането на дизайна на корпоративната пощенска система отделихме специално внимание на проработването на три ключови направления - адаптивност, система и възможността да се настрои на фирмения стил на клиента.

Адаптивност

Характеристика дизайна интерфейса корпоративната пощенска система Mailion е възможността да се показва на устройства с екрани с всякакви размери. Всички визуални компоненти са внимателно проектирани, те се мащабират правилно при работа на мобилни устройства и са идеални дори за управление с пръсти на сензорни екрани. Също така, при промяна на размера на прозореца на приложението, колоночният дизайн се трансформира — размерът на колоните се променя пропорционално, в строго съответствие с постулатите на концепцията за наситени интернет приложения.

Системност

В основата на дизайна на корпоративната пощенска система Mailion лежи системен подход. Ние разработваме това направление от началото на 2017 година, когато не беше толкова модно да се говори за дизайн системи, колкото сега. Дизайн системата е набор от правила и инструменти за визуално и техническо изпълнение, който отразява философията на продукта и се развива постоянно. Ние я въведохме за улесняване на комуникацията между разработката и дизайна.

Настройка на фирмения стил

Нашият дизайн е "хамелеон", способен да се адаптира към всяка фирмена визия на клиента. Цветовете на всички елементи на интерфейса са определени чрез променливи. Така, като промените основния набор от няколко цвята, можете да промените цвета на всички приложения наведнъж.

Шрифтовете също се определят чрез променливи: интерфейсът може да използва фирмения шрифт на компанията-клиент, ако това е предвидено от брендбукa на клиента. В същото време различните шрифтове могат да имат различен размер на буквите, и ние го вземаме предвид. Например, PT Sans с размер 16 изглежда значително по-малък от Roboto с същия размер 16. Затова адаптираме размера на текстовите блокове към особеностите на конкретния шрифт.

На устройството на нашата цветова библиотека и особеностите на работа с шрифтовете ще посветим отделни статии.

Мобилни приложения

Неотменима част от всяка съвременна пощенска система са мобилните приложения — потребителите трябва да имат възможност да работят от всяко място и по всяко време.
В момента ние само формулираме концепцията за корпоративни мобилни приложения, те трябва да отчетат различията във функционалността на пощенските системи МойОфис и да предлагат различни подходи към използването на електронна поща и календарни системи в корпорациите.

Интелигентна медийна панел

Нашите фокус-групи показаха, че потребителите смятат интерфейсите на обичайните пощенски системи за обемисти. Анкетираните от нас респонденти отбелязаха, че особено трудно им е да работят със събитията в календарите и с приложенията. Ние се стремяхме да постигнем отзивчивост на интерфейса и повишаване на производителността – да направим така, че продуктът ни да бъде приятен за ползване.

Медийната панелка, новото средство за ускоряване на сътрудничеството, систематизира цялата информация за кореспонденцията и осигурява моментален достъп до списъка с участниците в кореспонденцията, линкове и версии на документи, които някога са били изпратени.

Този инструмент помага в ситуации, когато потребителите трябва да работят с големи късове от стотици съобщения. Често се случва да е необходимо да се намери документ или изображение, което е било само в единия от тях. Медийната панелка създава списък на всички елементи от веригата на писмата и ги показва на едно място. В резултат на това намирането на необходимия обект става много по-лесно.

Локализация

Нуждата от корпоративна пощенска система съществува не само при руските потребители. МойОфис следва последователна политика за излизане на чуждестранни пазари, затова на въпросите по локализация на продуктите се отделя доста голямо внимание.

В нашия продукт нуждата от локализация на чужди езици е заложена още в самото начало, на ниво основна част на системата. Самото добавяне на нови езици не е голям проблем за нас – това е напълно разбираема задача, за която знаем как да се справим.

Сега на потребителите са достъпни руския и английския език. В близките версии ще добавим в корпоративната пощенска система поддръжка на езици, на които работят продуктите на МойОфис – френски, испански, португалски и други. На нас в известна степен ни е по-лесно, отколкото на колегите от съседни подразделения, тъй като за пощенските и календарните системи е необходимо да се вземат предвид само азбуката и особеностите на работа с дати и време – формули, както в табличния редактор, за наше щастие, нямаме.

Да, ние наемаме!

Създаването на нашия продукт отне няколко стотин човеко-години. Дори и с най-добрите намерения, не бих могъл да разкажа всичко в рамките на една статия. Въпреки това, се надявам, че тази публикация ще послужи като начало за запознаване с нашия продукт — както вече споменах по-горе, планирам в бъдеще да говоря по-подробно както за самото решение и неговите характеристики, така и за нашите подходи към разработката.

Без капка скромност ще кажа, че днес броят на компаниите, които разработват подобни пощенски системи по света, е наистина малък. Това е наистина сложна инженерна задача, която изисква както дълбочинно разбиране на нуждите на корпоративните клиенти, така и внимателен анализ на бизнес процесите в големите организации, съвременни тенденции в дизайна и разработката, както и значително количество компетентни специалисти. Нашата пощенска система се развива всеки ден.

В момента имаме отворени почти половин стотина вакансии в разработката. Заповядайте при нас, ако искате да създавате продукт, способен да промени представите на корпоративния свят за електронната поща.

Източник: habr.com