Před téměř čtyřmi lety jsme začali navrhovat zásadně nový distribuovaný e-mailový systém Mailion, který je určen pro podnikovou komunikaci. Naše řešení je postaveno na Cloud Native mikroservisní architektuře, je schopné pracovat s více než 1 000 000 uživateli současně a bude připraveno pokrýt 100 % potřeb velkých korporací.
Během práce na Mailionu se tým několikrát rozrostl a nyní je na produktu zapojeno téměř 70 vývojářů. Od nápadu a prvních prototypů do fáze pilotování komerční verze jsme ušli dlouhou cestu. Je čas říct Habrovi, jaký druh produktu vytváříme, jak je strukturován a funguje náš poštovní systém, jaké technologie používáme a proč je naše řešení budoucností podnikové komunikace. Pojďme!
Habr, ahoj! Jmenuji se Anton Gerasimov, vedu vývojové oddělení v moskevském vývojovém centru společnosti . Dnes bychom rádi představili Mailion, zásadně nový ruský poštovní systém podnikové třídy, který se stane důstojnou alternativou k oblíbeným zahraničním řešením. Mailion má vysokou nosnost, bezprecedentní škálovatelnost a odolnost proti chybám a vyžaduje minimální pozornost systémových administrátorů.
V současné době je náš vývoj ve fázi beta, ale velmi brzy se podle našeho plánu do konce roku 2020 stane pilotní implementací komerčního produktu.
Tento článek obsahuje z velké části obecné informace - v jedné publikaci je prostě nemožné hovořit o složitém softwarovém produktu. Mám v plánu udělat sérii článků o klíčových technologiích. Mezitím pro vaše pohodlí nabízím následující obsah:
Co je firemní e-mailový systém?
Jednoduchá a zřejmá odpověď na tuto otázku je e-mailový a kalendářový nástroj. Ale ďábel, jak víme, je v detailech.
Vytváříme tedy novou generaci pošty s pokročilými funkcemi plánování, která je zaměřena na korporátní segment a velké společnosti. Zaměřujeme se na spolupráci s velkými komerčními a vládními strukturami, které mohou mít od 30 tisíc do několika set tisíc pracovních míst.
Náš systém je založen na principu platformového řešení. Stavíme na konceptu Unified Communications a nabízíme jednotný nástroj pro práci s poštou, kalendářem a dokumenty v rámci jednoho systému s možností zvýšit funkčnost řešení připojením dalších modulů a komponent. Rozšíření, mimochodem, můžeme vyvíjet nejen my, ale i naši partneři. Za tímto účelem bude zveřejněna poměrně široká sada nástrojů SDK.
Kdo potřebuje další poštu a proč?
Velké podniky vytvořily zajímavý trend – podniky pociťují potřebu funkcí spolupráce. Nemluvíme pouze o přímé interakci mezi zaměstnanci prostřednictvím zasílání něčeho, ale o sdíleném přístupu k poštovním schránkám a role-playing účtům, schopnosti pracovat s velkými skupinami účastníků a přítomnosti různých firemních funkcí.
Typickou firemní funkcí je mechanismus pro vyvolávání dopisů, který je extrémně populární ve velkých společnostech, ale prakticky se nepoužívá ani v segmentu B2C, ani v malých firmách. Jde o to, že mezi malými skupinami uživatelů je pravděpodobnost vzniku takové potřeby poměrně malá a náklady na chybu jsou mnohem nižší. Navíc je prostě nemožné implementovat tuto funkci mimo firemní poštovní systém – ani Google mail si nevybavuje dopisy v podobě, na kterou jsou uživatelé Exchange zvyklí. Kořen problému spočívá v návrhu poštovních protokolů z 80. let minulého století.
Uskutečnili jsme desítky cílových skupin, provedli průzkum u stovek uživatelů a strávili několik tisíc člověkohodin identifikací typických scénářů používání e-mailu. To nám umožnilo pečlivě prostudovat potřeby našich potenciálních uživatelů a vlastnosti jejich obchodních procesů. Na základě získaných dat jsme se rozhodli vyvinout architekturu, která by nám umožnila v případě potřeby škálovat na požadovaný objem zatížení. Podle našeho názoru neexistuje žádná hranice, ale v tuto chvíli chápeme, jak zajistit práci firmám, které zaměstnávají několik set tisíc uživatelů.
Co se skrývá pod kapotou
Náš produkt zahrnuje e-mailové řešení, nástroj pro plánování kalendáře, adresář a také interaktivní prohlížení dokumentů založené na našem řešení MyOffice pro práci s dokumenty.
Jelikož se bavíme o řešení na podnikové úrovni, nedílnou součástí firemní pošty je také plnohodnotný vyhledávací systém. Naše řešení je schopno provádět komplexní morfologické vyhledávání napříč všemi komponentami. Celý poštovní systém je navíc založen na vlastním úložišti, které je navíc optimalizováno pro spolupráci.
Jaké jsou rozdíly mezi poštovními systémy MyOffice?
Čtenář Habr, který již má zkušenosti s prací s řešeními MyOffice, ví, že mezi komerční produkty patří „MyOffice Mail“. A nabízí se otázka – jaké jsou jeho odlišnosti od firemního emailového systému Mailion, na kterém můj tým pracoval?
My v MyOffice jsme se rozhodli, že abychom vyhověli potřebám společností různých velikostí, je nutné vytvořit dva e-mailové systémy podnikové třídy. Produkt MyOffice Mail je určen organizacím, ve kterých se počet uživatelů pohybuje v řádu tisíců až několika desítek tisíc. Pro větší struktury je vhodnější použít Mailion - nový produkt MyOffice, který je postaven na architektuře Cloud Native microservice a má nebývalé možnosti škálování a odolnosti proti chybám.
Klienti se musí při výběru produktů předem rozhodnout o strategii dalšího rozvoje své společnosti. Pro každou organizaci je implementace e-mailového systému komplexní projektová práce, která nezahrnuje rychlé nahrazení jednoho řešení jiným. Proto je třeba předem vzít v úvahu maximální možné zatížení, odolnost proti poruchám a samoopravovací kritéria, jakož i faktor geografického rozložení.
Oba e-mailové systémy MyOffice se zásadně liší. Jsou sestaveny pomocí různých technologických zásobníků a nástroje pro každý systém jsou vybírány v souladu s cíli a cíli segmentu, ve kterém bude poštovní systém nasazen. Máme společnou produktovou vizi toho, co by mělo být přítomno v poštovních systémech, stejně jako synchronizaci v přístupech k designu. Jde ale o dva produkty, které jsou určeny pro různé skupiny uživatelů.
Jakým výzvám vývojáři čelí?
Dále v textu budu hovořit pouze o novém firemním poštovním systému Mailion.
Provedli jsme důkladný průzkum a analyzovali výhody a nevýhody stávajících e-mailových řešení. Nasbírané zkušenosti našich specialistů, kteří se v minulosti přímo podíleli na tvorbě vysoce zatěžovaných systémů, nám umožnily rychle identifikovat hlavní problém jakéhokoli známého produktu – výkon diskových vstupních a výstupních operací (IO) .
Dá se říci, že úkol zrychlení IO operací se stal hlavní výzvou, před kterou jsme stáli. Bylo nutné se zaměřit na řešení našich konkrétních problémů a začali jsme vytvářet a vyvíjet vlastní systém binárního ukládání dat. Tento přístup má velmi zřejmou ekonomickou složku – potřebujeme nejen ukládat data, ale také provádět poměrně hodně diskových vstupních a výstupních operací.
Toto rozhodnutí nebylo učiněno lehce. Prostudovali jsme mnoho produktů podnikové třídy, které jsou zaměřeny na ukládání informací, a nenašli jsme nic hotového a vhodného pro naše požadavky. Data totiž potřebujeme nejen ukládat, ale také s nimi neustále pracovat, a to ne v exkluzivním režimu s přístupem jednoho uživatele, ale zajistit možnost spolupráce několika desítek tisíc uživatelů.
Zjistili jsme tedy, že nejvyšší prioritou podnikového kritéria je pro nás práce s velkými objemy dat.
Spolehlivost
Navíc to není ani tak otázka skladování, jako úkol zpracování a rychlého přístupu k těmto informacím. Je požadováno zajištění vysokých ukazatelů spolehlivosti – doba nepřetržitého provozu celého řešení by měla být na úrovni 99,9 %. Zároveň musí být poštovní systém autonomní při přijímání správných rozhodnutí o zpracování odmítnutí. Jen tak můžeme zajistit absenci poruch, které mohou paralyzovat obchodní procesy konkrétní společnosti.
odolnost proti chybám
Propracovali jsme soubor opatření, která se aplikují na každou součást, a vybrali jsme přístupy k zajištění odolnosti proti chybám. Korporátní poštovní systém využívá zejména kvorum zpracování dat, rezervace služeb a kontrolu absence jejich stavů a také vlastní mechanismy pro směrování a podporu kvora na základě konsensu.
Kritériem vysoké odolnosti proti chybám je přítomnost samokontrolních mechanismů v každé komponentě. Mailion neustále analyzuje, zda je ta či ona funkce provedena správně nebo nesprávně, zda ten či onen blok funguje správně. Jedná se o jeden z prostředků samoléčení systému v případě poruchy. Informace by se neměly ztrácet, řešení by mělo nakonec dosáhnout konzistentního stavu.
Musíte pochopit, že není možné předvídat všechny možné události v životě - nemůžete oklamat fyziku. Ale dodržujeme takové konstrukční přístupy, které nám umožňují mluvit s poměrně vysokou mírou sebevědomí o správném zacházení s nehodami určitých vzorů. Máme také velkou testovací skupinu, která se neustále snaží v produktu něco rozbít. A někdy se jim to podaří. Tato skutečnost spouští incident, který podrobně studujeme a na jeho základě vytváříme nový mechanismus k odstranění tohoto druhu problému.
Jak systém reaguje na nehody
Trh si často klade otázku – co se stane se systémem, když náhle ztratí komunikaci s jedním ze svých uzlů? Tento požadavek je zvláště důležitý, pokud plánujete implementovat geograficky distribuované řešení.
Při návrhu takové instalace je nutné vzít v úvahu potřeby zákazníka a jeho soubor kritérií spolehlivosti. Je mylné se domnívat, že připojení k datové síti je všude stejné. V podnikových systémech je důležité vzít v úvahu i rychlost signálu přes optické vlákno.
Pokud má zákazník vysoké požadavky na spolehlivost, pak doporučíme instalaci v několika datových centrech, která budou propojena vyhrazenými komunikačními linkami.
Nelze však vyloučit ani scénář úplného výpadku proudu v některém z uzlů poštovního systému. V tomto případě se práce s kmenovými daty tohoto segmentu pozastaví, ale zbývající části budou fungovat, jako by se nic nestalo. Systém upozorní administrátory, že došlo ke ztrátě uzlu, a zaměstnanci budou muset podniknout příslušné kroky.
Náš poštovní systém lze také nakonfigurovat tak, aby rezervace probíhaly v datovém centru. Tento přístup zajistí provozuschopnost v případě ztráty více uzlů v rámci datového centra a nikdo si ztráty jednoho z uzlů nevšimne – samozřejmě kromě monitorovacího systému. Když k takové události dojde, zátěž se jednoduše přerozdělí. Proto je při navrhování poštovního systému důležité vzít v úvahu rezervu - kolik a které komponenty se mohou při nehodě „ztratit“.
Nezávislost
Neexistují žádné absolutně spolehlivé systémy a může dojít k selhání, tak či onak. Při návrhu poštovního systému je proto důležité zajistit schopnost rychlé lokalizace poruch, která umožní jejich odstranění v určité lhůtě SLA. Poruchy by navíc měl systém odstraňovat nezávisle a zároveň minimalizovat zásahy systémových administrátorů a provozních služeb.
Snadné ovládání
Velké systémy samozřejmě nemohou vyžadovat pozornost vysoce kvalifikovaných zaměstnanců. Ale jedním z aspektů, které při navrhování bereme v úvahu, je, že systém by měl být snadno spravovatelný a nevyžadovat žádné jedinečné kompetence.
Ekonomická účinnost
Pro práci s jakýmikoli takovými firemními systémy je samozřejmě nutné školení zaměstnanců – koneckonců mluvíme o skutečně enormním měřítku. Proto jsme se při tvorbě našeho produktu zaměřili na snížení celkových nákladů na vlastnictví systému. U každého podnikání je důležité sledovat efektivitu utrácení a snažit se vyhnout nekonečnému nalévání peněz do provozních nákladů.
Decentralizace
Abychom dosáhli principů, o kterých jsem mluvil dříve, musí být systém kompletně distribuován – centralizovaný přístup je vždy omezen podmínkami použití hardwaru.
Samozřejmě si můžete koupit jeden velký server a zkusit na něj nainstalovat všechny aplikace a služby. Ale čím je systém větší, tím je celý návrh složitější a spolehlivost takového systému neustále klesá – koneckonců jeden server znamená jediné místo selhání. A čím více centralizujeme práci, tím více jsme závislí na tomto ústředním bodu.
Systémové požadavky
Když mluvíme o složitých podnikových e-mailových systémech, musíme pochopit, že neexistuje nic takového jako „minimální konfigurace pro provoz“. Základem každé velké realizace je vždy seriózní projekční práce. Umožňuje vám korelovat potřeby konkrétního podniku a optimální konfiguraci poštovního systému.
Firemní e-mailový systém je flexibilní nástroj, který lze konfigurovat podle velkého množství parametrů. Testování zátěže provádíme vlastní metodikou, která nám umožňuje simulovat zátěž na základě analýzy desítky základních a několika stovek možných kritérií.
Dá se říci, že při přípravě implementačního projektu jsou to právě výpočty, které ukáží intenzitu uživatelské práce ve stávajících obchodních procesech organizace. V tomto případě se analyzuje mnoho vstupních parametrů a v závislosti na možné zátěži se rozhoduje o požadovaném množství výpočetního výkonu - od jednoho počítače až po celou počítačovou učebnu.
Proto mluvit o nějakých minimálních konfiguracích není úplně správné. Konkrétně máme také předváděcí stánek, který funguje pouze na jednom stroji. Ale chápeme, že práce v korporátním segmentu vyžaduje instalaci na desítky a dokonce stovky virtuálních strojů.
Zásobník technologií
Při tvorbě produktů dbáme především na licenční čistotu kódu. MyOffice zavedl a provozuje vysoké standardy kvality, které po nás vyžadují kompletní nezávislý vývoj produktů s minimálním zapojením externího kódu.
Velká část kódu Mailion je náš vlastní, kód, ke kterému plně vlastníme práva a který můžeme podle potřeby měnit a upravovat. Většina kódu pro náš e-mailový systém je napsána interně v Go (Golang). Kromě Go používáme pro webovou část C++ a také Java Script ES6.
Zbývajících 5 % tvoří takzvané „těžké komponenty“, jako jsou databáze. Patří mezi ně RethinkDB, ArangoDB a Redis. Mezi klíčové technologie si všimnu také gRPC - systém vzdáleného volání procedur, který se používá jako jednotný mechanismus pro interakci přes API, to je důležitá součást.
Z čeho se produkt skládá?
Firemní e-mailový systém není „server ve vakuu“. Náš produkt obsahuje asi 70 komponent a 45 služeb, které udržují poštovní systém. Všechny tyto prvky jsou napsány „od nuly“ a jsou vlastním vývojem MyOffice.
Nejvýraznější částí systému je serverový komplex, který poskytuje úložiště, poštu, kalendář a vyhledávací systémy a webového klienta. Vyvíjíme také několik uživatelských aplikací a plánujeme nabídnout našim uživatelům nové „tenké klienty“ založené na našich technologiích webových klientů do doby komerčního vydání.
Kompatibilita s poštovními systémy
Mailion pracuje pomocí standardních protokolů. Abyste mohli začít používat naše řešení, stačí pouze nakonfigurovat klientské aplikace a dále s nimi pracovat ve vašem obvyklém prostředí. Můžete například použít klientskou aplikaci, která je součástí produktu MyOffice Mail.
Pro pohodlí našich uživatelů jsme také vytvořili speciální plugin, který zajišťuje bezproblémový přechod z Exchange. S jeho pomocí budou moci uživatelé při výměně poštovního serveru pokračovat v práci s MS Outlookem – ani si nevšimnou, že se v jejich obvyklé interakci s komunikačními nástroji něco změnilo. Tento plugin umožňuje plynule převádět uživatele z předchozího poštovního systému, aniž by se zastavila práce celé organizace. To je zvláště důležité, pokud potřebujete vyměnit nástroje, aby sloužily stovkám tisíc uživatelů.
Snadnost administrace
Zvláštností našeho podnikového poštovního systému je, že vyžaduje extrémně malou účast správců. Při návrhu jsme se snažili najít rovnováhu mezi možností přizpůsobení a složitostí správy. Abychom toho dosáhli, museli jsme provést mnoho výzkumů vzorců chování správců komplexních podnikových systémů.
Náš tým se skládá, jak jsem již řekl, z vysoce kvalifikovaných specialistů – každý z nich má solidní administrativní zkušenosti. Při vývoji systému jsme se proto snažili jejich zkušenosti přenést do potřeb uživatelů při správě komplexního produktu. Jinými slovy, protože jsme věděli o potenciálních problémech, proaktivně jsme poskytli způsoby, jak je vyřešit na úrovni architektonického návrhu.
Například,
- Je zajištěna izolace systémových komponent do kontejnerů, včetně infrastrukturních - to nám pomáhá zvýšit úroveň zabezpečení, flexibilně konfigurovat přístup mezi komponentami a také nám umožňuje rychle zahrnout nové položky požadované byznysem do seznamu podporovaných systémů a platforem;
- jednotný přístup k vývoji a nasazení, jednotný konfigurační formát pro všechny komponenty přispívá k přehlednějšímu a efektivnějšímu provozu a snižuje náklady na podporu;
- váš vlastní systémový instalátor, založený na známých nástrojích pro nasazení, vám umožní řídit instalaci centrálně, flexibilně a přehledně;
architektura mikroslužeb s jasným rozdělením odpovědností za obchodní logiku mezi služby pomáhá porozumět provoznímu schématu systému a poskytovat podporu efektivněji; - infrastrukturní část systému je založena na známých řešeních využívajících osvědčené postupy a umožňuje také integraci se stávajícími systémy v podniku, což zjednodušuje zprovoznění systému v rámci společnosti;
- K tomuto účelu bude úložiště disponovat systémem na bázi umělé inteligence, který bude schopen samostatně identifikovat případné poruchy a ovládat zařízení.
Moderní design
Vytvoření návrhu produktu zabralo několik tisíc člověkohodin. Úkolem vývoje bylo udělat rozhraní moderní - snadné a intuitivní. To je obtížné, když navrhujete podnikový systém, který ve výchozím nastavení musí obsahovat řadu specifických funkcí.
Design samozřejmě nelze „tesat do kamene“ nebo schvalovat podpisem a pečetí – je to živý nástroj, neustále se vyvíjí a zdokonaluje. Během čtyř let jsme design několikrát přetvářeli, ale k žádné radikální změně ideologie nedošlo. Klíčovým principem pro vybudování celé firemní produktové řady je vytvoření univerzálního designového systému.
Při návrhu designu firemního emailového systému jsme věnovali zvláštní pozornost rozvoji tří klíčových oblastí – přizpůsobivosti, konzistence a schopnosti přizpůsobit se firemnímu stylu klienta.
Přizpůsobivost
Zvláštností návrhu rozhraní podnikového poštovního systému Mailion je možnost jeho zobrazení na zařízeních s obrazovkami libovolné velikosti. Všechny vizuální komponenty jsou pečlivě vykresleny, správně se škálují při běhu na mobilních zařízeních a jsou skvělé i pro ovládání prsty na dotykových obrazovkách. Když změníte velikost okna aplikace, změní se také rozložení sloupců - velikost sloupců se proporcionálně posune v přísném souladu s postuláty konceptu bohatých internetových aplikací.
Konzistence
Návrh firemního emailového systému Mailion je založen na systematickém přístupu. Tuto oblast rozvíjíme od začátku roku 2017, kdy ještě nebylo tak v módě mluvit o designových systémech jako nyní. Designový systém je soubor pravidel a nástrojů pro vizuální a technické provedení, který odráží filozofii produktu a neustále se vyvíjí. Zavedli jsme jej, abychom zjednodušili komunikaci mezi vývojem a designem.
Nastavení firemní identity
Náš design je „chameleon“, který se dokáže přizpůsobit firemnímu stylu každého klienta. Barvy všech prvků rozhraní jsou definovány pomocí proměnných. Změnou základní sady několika barev tedy můžete přebarvit všechny aplikace najednou.
Písma jsou také definována pomocí proměnných: rozhraní může používat firemní písmo klientské společnosti, pokud je to uvedeno v knize značek klienta. Různá písma přitom mohou mít různé velikosti písmen a my s tím počítáme. Například PT Sans ve velikosti 16 vypadá znatelně menší než Roboto ve stejné velikosti 16. Velikost textových bloků proto přizpůsobujeme vlastnostem konkrétního písma.
Strukturě naší knihovny barev a funkcím práce s fonty budeme věnovat samostatné články.
Mobilní Apps
Nedílnou součástí každého moderního e-mailového systému jsou mobilní aplikace – uživatelé by měli mít možnost pracovat odkudkoli a kdykoli.
Nyní teprve tvoříme koncept firemních mobilních aplikací, které by měly zohledňovat rozdíly ve funkčnosti emailových systémů MyOffice a nabízet různé přístupy k využití emailových a kalendářových systémů ve firmách.
Panel inteligentních médií
Naše diskusní skupiny ukázaly, že uživatelé považují rozhraní tradičních e-mailových systémů za těžkopádné. Respondenti, s nimiž jsme se dotazovali, poznamenali, že práce s kalendářovými událostmi a přílohami byla obzvláště obtížná. Snažili jsme se dosáhnout citlivého rozhraní a zvýšit produktivitu – aby byl náš produkt příjemný na používání.
Media Panel, nový nástroj pro urychlení spolupráce, organizuje veškeré informace o korespondenci a poskytuje okamžitý přístup k seznamu účastníků korespondence, odkazům a verzím dokumentů, které kdy byly odeslány.
Tento nástroj pomáhá v situacích, kdy uživatelé musí pracovat s velkými skladbami stovek zpráv. Často se stává, že potřebujete najít dokument nebo obrázek, který byl pouze v jednom z nich. Panel médií vytvoří seznam všech prvků z e-mailového řetězce a zobrazí je na jednom místě. Díky tomu je nalezení požadovaného předmětu mnohem jednodušší.
Lokalizace
Nejen ruští uživatelé potřebují firemní e-mailový systém. MyOffice prosazuje důslednou politiku vstupu na zahraniční trhy, takže poměrně velká pozornost je věnována otázkám lokalizace produktů.
V našem produktu byla potřeba lokalizace do cizích jazyků stanovena zpočátku, na úrovni základní části systému. Samotné přidávání nových jazyků pro nás nepředstavuje velký problém - je to zcela srozumitelný úkol, který víme, jak vyřešit.
V současné době je uživatelům k dispozici ruský a anglický jazyk. V nadcházejících verzích přidáme podporu do firemního e-mailového systému pro jazyky, ve kterých produkty MyOffice fungují – francouzštinu, španělštinu, portugalštinu a další. V některých ohledech je to pro nás jednodušší než pro kolegy ze sousedních oddělení, protože u poštovních a kalendářových systémů stačí vzít v úvahu abecedu a funkce práce s daty a časy - naštěstí nemáme vzorce jako např. tabulkový editor.
Ano, přijímáme zaměstnance!
Vytvoření našeho produktu trvalo několik set mužských let. A i kdybych chtěl, nemohl bych vám říct všechno najednou v jednom článku. Přesto doufám, že tato publikace poslouží jako výchozí bod pro seznámení se s naším produktem – jak jsem uvedl výše, v budoucnu plánuji hovořit podrobněji jak o samotném řešení a jeho vlastnostech, tak i o našem vývoji přístupy.
Bez stínu skromnosti také řeknu, že dnes je počet společností, které vyvíjejí takové poštovní systémy po celém světě, jen několik. Jedná se o skutečně složitý inženýrský úkol, který vyžaduje hluboké pochopení potřeb firemních zákazníků a důkladnou analýzu obchodních procesů velkých organizací, moderní trendy v designu a vývoji a také značný počet kompetentních specialistů. Náš poštovní systém se každým dnem vyvíjí.
Právě teď máme téměř otevřeno volná místa ve vývoji. Pojďte s námi spolupracovat, pokud s námi chcete spolupracovat na vytvoření produktu, který může změnit způsob, jakým firemní svět přemýšlí o e-mailu.
Zdroj: www.habr.com
