🥇Första intryck: hur det nya företags-e-postsystemet Mailion från MойОфис är uppbyggt

För nästan fyra år sedan började vi designa ett helt nytt distribuerat postsystem, Mailion, som är avsett för företagskommunikation. Vår lösning är byggd på Cloud Native mikroservicearkitektur, kan hantera mer än 1 000 000 användare samtidigt och kommer att kunna täcka 100 % av behoven hos stora företag.

Under arbetet med Mailion har vårt team växt flera gånger, och nu är nästan 70 utvecklare involverade i produkten. Vi har kommit en lång väg från idé och första prototyper till pilotstadiet för den kommersiella versionen. Det är dags att berätta för Habr om den produkt vi skapar, hur vårt postsystem är uppbyggt och fungerar, vilken teknikstack vi använder och varför vår lösning är framtiden för företagskommunikation. Låt oss köra!

Hej Habr! Jag heter Anton Gerasimov och jag leder utvecklingsavdelningen på det moskva-baserade utvecklingscentret för företaget MojOffice. Idag vill vi presentera Mailion — ett helt nytt ryskt postsystem av företagsklass som kommer att bli ett värdigt alternativ till populära utländska lösningar. Mailion har hög kapacitet, oöverträffade skalnings- och redundansmöjligheter, och kräver minimalt med uppmärksamhet från systemadministratörer.

För närvarande befinner sig vår utveckling i beta-version, men snart, enligt vår plan innan slutet av 2020, kommer den att gå över till status som pilotimplementering av den kommersiella produkten.

Större delen av denna artikel innehåller allmän information — att berätta om en komplex programprodukt i en enda publikation är helt enkelt omöjligt. Jag planerar att göra en serie artiklar som berättar om nyckelteknologier. Men för din bekvämlighet föreslår jag följande innehåll:

Vad är ett företags postsystem?
Teknikstack
Vad produkten består av
Ja, vi anställer!

Vad är ett företags postsystem?

Ett enkelt och uppenbart svar på denna fråga är ett verktyg för att arbeta med e-post och kalender. Men djävulen, som bekant, ligger i detaljerna.

Så vi skapar e-post av nästa generation med avancerade funktioner för kalenderplanering, som är riktad mot företagssegmentet och stora företag. Vi fokuserar på att arbeta med stora kommersiella och statliga organisationer, där det kan finnas från 30 000 till flera hundra tusen arbetsplatser.

Vår system bygger på principen om en plattformslösning. Vi utgår från konceptet Unified Communications och erbjuder ett enhetligt verktyg för att hantera e-post, kalender och dokument inom ett och samma system, med möjlighet att utöka funktionaliteten genom att koppla på ytterligare moduler och komponenter. Tillägg kan för övrigt utvecklas inte bara av oss utan också av våra partner. För detta ändamål kommer ett tillräckligt brett SDK-verktyg att publiceras.

Vem och varför skulle behöva än en annan e-post?

Stora företag har skapat en intressant trend – företag upplever behovet av funktioner för samarbete. Det handlar inte bara om direkt interaktion mellan anställda genom att skicka något, utan snarare om gemensam åtkomst till e-post och roll-specifika lådor, möjlighet att arbeta med stora grupper av deltagare och tillgång till olika företagsfunktioner.

En typisk företagsfunktion är mekanismen för att återkalla e-post, som är mycket efterfrågad i stora företag, men som knappt används varken i B2C-segmentet eller i småföretag. Anledningen är att bland små grupper av användare är sannolikheten för en sådan behov ganska liten, och kostnaden för fel är mycket lägre. Dessutom är det helt omöjligt att genomföra denna funktion utanför ett företags e-postsystem – även i Gmail finns det ingen möjlighet att återkalla e-post på det sätt som användare av Exchange är vana vid. Problemet ligger i konstruktionen av e-postprotokoll från 80-talet.

Vi har genomfört ett stort antal fokusgrupper, intervjuat hundratals användare och lagt ner flera tusen timmar på att identifiera typiska användarscenarier för e-post. Detta har gjort det möjligt för oss att noggrant studera behoven hos våra potentiella användare och egenskaperna hos deras affärsprocesser. Baserat på de insamlade uppgifterna har vi beslutat att utveckla en arkitektur som gör det möjligt att skala upp till önskad belastning vid behov. I vår uppfattning finns det egentligen inga gränser, men för tillfället förstår vi hur vi kan stödja företag med flera hundratusen användare.

Vad som döljer sig under huven

Vår produkt inkluderar en e-postlösning, ett verktyg för kalenderhantering, ett adressbok, samt interaktiv visning av dokument baserat på vår egen lösning, MyOffice, för dokumenthantering.

Eftersom vi pratar om en lösning på företagsnivå, är en fullt fungerande sökmotor en integrerad del av företags-e-posten. Vår lösning kan utföra genomgripande morfologisk sökning över alla komponenter. Dessutom är hela e-postsystemet baserat på en egen databas, som också är optimerad för samarbete.

Vad skiljer MyOffice e-postsystem från varandra?

Läsare av Habr, som redan har erfarenhet av MyOffice lösningar, vet att den kommersiella produkten inkluderar "MyOffice E-post". Och frågan uppstår - vilka skillnader finns det mellan den och det företags e-postsystem som Mailion, som mitt team har arbetat med?

Vi på MyOffice har beslutat att för att tillgodose behoven hos företag av olika storlekar behövs två e-postsystem av företagsklass. Produkten "MyOffice E-post" är avsedd för organisationer med tusentals eller flera tiotusentals användare. För större strukturer är det mer lämpligt att använda Mailion - en ny produkt från MyOffice, som är byggd på en Cloud Native mikrotjänstarkitektur och har oöverträffade möjligheter till skalbarhet och redundans.

När man väljer produkter måste kunderna på förhand bestämma sig för strategin för företagets vidare utveckling. För alla organisationer är implementeringen av ett e-postsystem ett komplext projektarbete som inte förutsätter en snabb ersättning av en lösning med en annan. Därför bör man i förväg ta hänsyn till den maximala belastningen, kriterier för felresistens och självreparation, samt faktorn för geografisk spridning.

De två e-postsystemen MikhailOffice är grundläggande olika. De är byggda med hjälp av olika teknologiska stackar, och verktygen för varje system väljs i enlighet med målen och uppgifterna för den segment där e-postsystemet kommer att implementeras. Vi har en gemensam produktvision för vad som bör finnas i e-postsystemen, samt en synkronisering i designmetoder. Men dessa är två produkter som är avsedda för olika användargrupper.

Vilka utmaningar har utvecklarna

I fortsättningen av texten kommer jag endast att tala om det nya affärs-e-postsystemet Mailion.

Vi har genomfört en noggrann undersökning och analyserat fördelarna och nackdelarna med befintliga e-postlösningar. Den samlade erfarenheten från våra specialister, som tidigare varit direkt involverade i skapandet av högbelastade system, har gjort att vi snabbt kan identifiera den huvudsakliga svagheten hos alla kända produkter — prestanda för diskoperationer för in- och utmatning (IO).

Man kan säga att uppgiften att påskynda IO-operationer har blivit den största utmaningen vi har stött på. Det var nödvändigt att fokusera på att lösa våra specifika problem, och vi började skapa och utveckla vårt eget system för lagring av binära data. Denna metod har en uppenbar ekonomisk komponent — vi behöver inte bara lagra data utan också utföra en hel del diskoperationer för in- och utmatning.

En sådan lösning var svår att hitta. Vi har studerat många företagsprodukter som är inriktade på datalagring och har inte kunnat hitta något färdigt som passar våra krav. Vi behöver inte bara lagra data, utan också alltid arbeta med dem, inte i en monopolösning med en användartillgång, utan för att möjliggöra samarbete mellan tiotusentals användare.
Vi har därför identifierat att det mest prioriterade företagskriteriet för oss är hantering av stora datamängder.

Pålitlighet

Det handlar inte bara om lagring, utan om att bearbeta och snabbt få tillgång till denna information. Det är nödvändigt att säkerställa hög tillförlitlighet – driftstiden för hela lösningen måste vara på nivå med 99,9%. Dessutom måste e-postsystemet vara autonomt i sina beslut om felbehandling. Endast på detta sätt kan man uppnå frånvaro av avbrott som kan förlama affärsprocesserna i ett företag.

Fel-tolerans

Vi har arbetat fram en uppsättning åtgärder som tillämpas på varje komponent och valt metoder för att säkerställa felresiliens. I synnerhet tillämpar det företagsmässiga e-postsystemet röstningsarbetsmetoder med data, reservtjänster och övervakning av deras tillstånd, samt egna rutiner för routing och stöd för konsensusbaserad röstning.

Kriteriet för hög felresiliens är att varje komponent har mekanismer för självgranskning. Mailion analyserar ständigt om en viss funktion utförs korrekt eller inte, och om en viss enhet fungerar som den ska. Detta är ett av medlen för systemets självåterställning vid en felaktighet. Ingen information får gå förlorad, och lösningen måste slutligen nå ett konsekvent tillstånd.

Det är viktigt att förstå att det inte är möjligt att förutse alla möjliga händelser i livet - fysiken kan inte luras. Men vi följer designmetoder som gör att vi med hög grad av säkerhet kan prata om korrekt hantering av vissa mönster av incidenter. Vi har också en stor testgrupp som ständigt försöker bryta något i produkten. Ibland lyckas de. En sådan händelse leder till att ett ärende skapas som vi noggrant analyserar och utifrån vilket vi skapar en ny mekanism för att åtgärda sådana problem.

Hur systemet reagerar på incidenter

Marknaden ställer ofta frågan - vad händer med systemet om det plötsligt tappar kontakten med en av sina noder? Denna fråga är särskilt relevant om man planerar att införa en geografiskt distribuerad lösning.

Vid projektering av en sådan installation måste man ta hänsyn till kundens behov och krav på tillförlitlighet. Det är felaktigt att anta att anslutningen till överföringsnätet är densamma överallt. I företagsystem är det viktigt att även beakta hastigheten på signalen genom fiberoptik.

Om kunden ställer höga krav på tillförlitlighet, kommer vi att rekommendera installation på flera datacenter som kopplas samman med dedikerade kommunikationslinjer.
Man kan dock inte utesluta scenariet med ett totalt strömavbrott i en av noderna i e-postsystemet. I detta fall kommer arbetet med masterdata i den segmentet att avbrytas, men övriga delar kommer att fungera som om ingenting har hänt. Systemet kommer att informera administratörerna om förlusten av noden, och personalen måste vidta lämpliga åtgärder.

Vårt e-postsystem kan också konfigureras så att intern redundans sker inom datacentret. Denna metod säkerställer drift vid förlust av flera noder inom datacentret, där förlusten av en nod knappt kommer att märkas - förutom av övervakningssystemet förstås. Vid en sådan händelse omfördelas helt enkelt belastningen. Därför är det viktigt att ta hänsyn till reservkapacitet vid projekteringen av e-postsystemet - hur många och vilka komponenter som kan "förloras" vid en incident.

Självständighet

Det finns inga helt pålitliga system, och fel kan inträffa på ett eller annat sätt. Därför är det viktigt att vid utformningen av e-postsystemet säkerställa en snabb lokalisering av fel som gör det möjligt att åtgärda dem inom en viss SLA-period. Dessutom bör felen åtgärdas av systemet självt, vilket minimerar behovet av ingripande från systemadministratörer och driftsavdelningar.

Användarvänlighet

Självklart kan stora system inte helt undvika behovet av uppmärksamhet från högkvalificerade medarbetare. Men en av de aspekter vi tar hänsyn till vid utformningen är att systemet ska vara lättadministrerat och inte kräva unika kompetenser.

Ekonomisk effektivitet

Utan tvekan kräver arbete med sådana företagsystem utbildning av personalen — vi pratar trots allt om verkligt stora skala. Därför fokuserade vi på att minska den totala ägandekostnaden för systemet. Det är viktigt för alla företag att övervaka effektiviteten i utgifterna och sträva efter att undvika oändliga investeringar i driftkostnader.

Decentralisering

För att säkerställa de principer jag nämnt tidigare är det nödvändigt att systemet är helt distribuerat — ett centraliserat tillvägagångssätt är alltid begränsat av hårdvaruanvändningsvillkoren.

Självklart kan man köpa en stor server och försöka installera alla applikationer och tjänster på den. Men ju större systemet blir, desto mer komplex blir hela konstruktionen, och tillförlitligheten hos ett sådant system minskar obevekligt — eftersom en server också innebär en enskild felpunkt. Ju mer vi centraliserar arbetet, desto mer beror vi på denna centrala punkt.

Systemkrav

När vi talar om komplexa företags e-postsystem måste vi förstå att det inte finns något sådant begrepp som "minimalkonfiguration för drift". Grunden för alla stora implementationer vilar alltid på ett seriöst projektarbete. Detta gör det möjligt att matcha ett specifikt företags behov med den optimala konfigurationen av e-postsystemet.

Ett företags e-postsystem är ett flexibelt verktyg som kan anpassas efter ett stort antal parametrar. Vi genomför belastningstestning enligt vår egen metodik som gör det möjligt att modellera belastningen baserat på analys av ett dussin grundläggande och flera hundra möjliga kriterier.

Man kan säga att beräkningarna vid förberedelsen av projektet för implementeringen kommer att visa intensiteten i användarnas arbete inom de befintliga affärsprocesserna i organisationen. Många ingångsparametrar analyseras, och beroende på den möjliga belastningen fattas beslut om den nödvändiga mängden datorkraft – från en enda dator till ett helt datacenter.

Därför är det inte helt korrekt att tala om minimala konfigurationer. I synnerhet har vi också en demonstrationsmiljö som endast körs på en enda maskin. Men vi förstår att arbete inom företagssektorn kräver installation på tiotals och till och med hundratals virtuella maskiner.

Teknikstack

Vid skapandet av produkter lägger vi stor vikt vid den licensierade renheten av koden. I MyOffice finns det höga kvalitetsstandarder som kräver att vi utvecklar produkter helt själva, med minimal användning av extern kod.

En stor del av koden i Mailion är egenutvecklad, och rättigheterna till den koden tillhör oss helt och hållet, vilket innebär att vi kan ändra och förbättra den efter behov. Största delen av koden i vårt e-postsystem är skriven på Go (Golang). Utöver Go använder vi C++ och JavaScript ES6 för webbdelen.

De återstående 5 % är så kallade "tunga komponenter", såsom databaser. Bland dem ingår RethinkDB, ArangoDB och Redis. Bland de nyckelteknologier som också är värda att nämna finns gRPC – ett system för fjärranrop av procedurer som används som en enhetlig mekanism för interaktion via API, vilket är en viktig del.

Vad produkten består av

Ett företags e-postsystem är inte "en server i ett vakuum". Vårt produktpaket innehåller cirka 70 komponenter och 45 tjänster som hanterar e-postsystemet. Alla dessa element är skrivna "från grunden" och är egenutveckling av MyOffice.

Den mest framträdande delen av systemet är serverkomplexet, som möjliggör drift av lagring, e-post, kalender- och söksystem, samt webbkunden. Vi utvecklar också flera användarapplikationer och planerar att vid den kommersiella lanseringen erbjuda våra användare nya "tunna klienter" baserade på teknologierna från vår webbkund.

Kompatibilitet med postsystem

Mailion fungerar enligt standardprotokoll. För att börja använda vår lösning behöver du bara konfigurera klientapplikationerna och sedan arbeta med dem i din vanliga miljö. Till exempel kan du använda det klientprogram som ingår i produkten "MojOffice E-post".

För att underlätta för våra användare har vi även skapat ett speciellt tillägg som möjliggör en sömlös övergång från Exchange. Med hjälp av det här tillägget kan användarna, vid byte av e-postserver, fortsätta använda MS Outlook — de kommer inte ens att märka att något har ändrats i deras vanliga interaktion med kommunikationsverktygen. Detta tillägg gör det möjligt att smidigt överföra användare från det tidigare e-postsystemet utan att hela organisationens arbete avbryts. Detta är särskilt viktigt om du behöver byta ut verktyg som används av hundratusentals användare.

Enkel administration

En särskiljande egenskap hos vårt företags e-postsystem är den minimala involveringen av administratörer. Vid utformningen har vi försökt hitta en balans mellan anpassningsmöjligheter och svårighetsgraden av hanteringen. För att uppnå detta behövde vi genomföra många studier av administrators beteendemönster i komplexa företagsystem.

I vårt team arbetar, som jag nämnde tidigare, högt kvalificerade specialister — var och en av dem har solid erfarenhet av administration. Därför strävade vi vid utvecklingen av systemet efter att överföra deras erfarenheter till användarnas behov när det gäller att hantera en komplex produkt. Med andra ord — medvetna om potentiella problem förutspådde vi i förväg hur dessa skulle lösas på designnivå.

Till exempel,

Isolering av systemkomponenter i containrar, inklusive infrastrukturella, hjälper oss att öka säkerhetsnivån, flexibelt konfigurera åtkomst mellan komponenter, samt snabbt lägga till nya efterfrågade system och plattformar som efterfrågas av affärsvärlden.
Enhetlig metod för utveckling och driftsättning, enhetligt konfigurationsformat för alla komponenter bidrar till en mer tydlig och effektiv verksamhet och minskar kostnaderna för support.
Egen installationsprogramvara, baserad på välkända distributionsverktyg, gör det möjligt att centralt, flexibelt och tydligt hantera installationen.
Mikrotjänstarkitektur med tydlig ansvarsfördelning av affärslogik mellan tjänster underlättar förståelsen av systemets arbetsstruktur och gör det möjligt att effektivare utföra support.
Den infrastrukturella delen av systemet bygger på välkända lösningar, med användning av bästa praxis, och möjliggör integration med befintliga system inom företaget, vilket förenklar systemets införande.
Det kommer att finnas ett AI-baserat system i lagret som självständigt kan upptäcka potentiella fel och styra utrustningen.

Modern design

Att skapa produktens design har tagit flera tusen timmar. Målet före utvecklingen var att göra gränssnittet modernt - lätt och intuitivt. Det är en utmaning när man designar ett företagsystem som per definition måste inkludera flera specifika funktioner.

Självklart kan design inte "hugga i sten" eller godkännas under signatur och stämpel - det är ett dynamiskt verktyg som ständigt utvecklas och förbättras. Under fyra år har vi transformerat designen flera gånger, men det har inte skett någon radikal förändring av ideologin. Den centrala principen för hela produktlinjen är att skapa ett universellt designsystem.

Vid utformningen av designen för det företagsmail-systemet har vi lagt särskild vikt vid att bearbeta tre nyckelområden - anpassningsförmåga, systematisk struktur och möjlighet att anpassa sig till kundens varumärkesstil.

Responsivitet

En designfunktion för det företagsinriktade e-postsystemet Mailion är möjligheten att visas på enheter med skärmar av alla storlekar. Alla visuella komponenter är noggrant ritade, de skalas korrekt när de används på mobila enheter och fungerar utmärkt även för kontroll med fingrar på pekskärmar. Vid förändring av fönstrets storlek transformeras också kolumnlayouten — kolumnstorlekarna justeras proportionellt, i strikt överensstämmelse med postulaten i konceptet för rika internetapplikationer.

Systematik

I grund och botten ligger designen av det företagsinriktade e-postsystemet Mailion i ett systematiskt tillvägagångssätt. Vi har utvecklat detta område sedan början av 2017, när det inte var så trendigt att prata om designsystem som det är nu. Ett design system är en uppsättning regler och verktyg för visuell och teknisk implementering som återspeglar produktens filosofi och ständigt utvecklas. Vi implementerade det för att förenkla kommunikationen mellan utveckling och design.

Anpassning av företagsstil

Vår design är en "kameleont" som kan anpassa sig till vilken företagsstil som helst. Färgerna för alla gränssnittselement definieras genom variabler. Genom att ändra den grundläggande uppsättningen av några färger kan man på en gång ommåla alla applikationer.

Typsnitt definieras också genom variabler: gränssnittet kan använda klientens varumärkessnitt om det är föreskrivet i kundens varumärkesmanual. Olika typsnitt kan ha olika bokstavsstorlekar, och vi tar hänsyn till detta. Till exempel ser PT Sans i storlek 16 tydligt mindre ut än Roboto i samma storlek. Därför anpassar vi storleken på textblocken efter specifika typsnittsegenskaper.

Vi kommer att ägna separata artiklar åt utformningen av vårt färgbibliotek och egenskaperna i vårt typsnittarbete.

Maskin-till-maskin-interaktion

En oumbärlig del av varje modernt e-postsystem är mobilapplikationerna — användarna måste kunna arbeta från vilken plats som helst och när som helst.
Just nu formar vi bara konceptet för företagsmobilapplikationer, de måste ta hänsyn till skillnaderna i funktionalitet hos e-postsystemen för MойОфис och erbjuda olika sätt att använda e-post och kalendersystem inom företagen.

Intelligent mediapanel

Våra fokusgrupper har visat att användare tycker att gränssnitten i vanliga e-postsystem är klumpiga. Respondenterna vi intervjuade nämnde att det särskilt är svårt att arbeta med händelser i kalendern och med bilagor. Vi har strävat efter att förbättra gränssnittets responsivitet och öka prestandan – för att göra det trevligt för användarna att använda vår produkt.

Mediapanelen, ett nytt verktyg för att snabba upp samarbete, systematiserar all information om korrespondens och ger omedelbar tillgång till listan över deltagare i kommunikationen, länkar och versioner av dokument som någonsin har skickats.

Detta verktyg hjälper i situationer där användarna måste arbeta med stora trådar av hundratals meddelanden. Det är ofta så att man behöver hitta ett dokument eller en bild som bara fanns i ett av dem. Mediapanelen skapar en lista över alla element i e-postkedjan och visar dem på ett ställe. Det blir därmed mycket enklare att hitta det objekt man söker.

Lokalisering

Behovet av ett företags-e-postsystem finns inte bara hos ryska användare. MůjOffice har en konsekvent politik för att nå internationella marknader, därför läggs det stor vikt vid frågor om lokalisering av produkterna.

I vår produkt har behovet av lokalisering till utländska språk funnits från början, på nivån av systemets grundläggande delar. Att lägga till nya språk är ingen stor problem för oss – det är en helt överkomlig uppgift som vi vet hur vi ska lösa.

Just nu är svenska och engelska tillgängliga för användarna. I kommande releaser kommer vi att lägga till stöd för de språk som MůjOffice-produkterna arbetar med – franska, spanska, portugisiska och andra. På sätt och vis har vi det enklare än kollegor i angränsande avdelningar, eftersom e-post- och kalendersystemen endast behöver ta hänsyn till alfabetet och särskilda aspekter av datum och tid – vi har lyckligtvis inga formler som i kalkylprogrammet.

Ja, vi anställer!

Att skapa vår produkt har krävt flera hundra personår. Och oavsett hur mycket jag skulle vilja, kan jag inte berätta allt i en enda artikel. Jag hoppas dock att denna publikationen ska fungera som en utgångspunkt för att lära känna vår produkt – som jag nämnde tidigare planerar jag att i framtiden gå in mer detaljerat på både själva lösningen och dess egenskaper, samt våra utvecklingsmetoder.

Utan en skugga av blygsamhet vill jag också nämna att idag finns det endast några få företag i världen som utvecklar liknande e-postsystem. Det är verkligen en komplex ingenjörsuppgift som kräver både en djup förståelse för företagskunders behov och en noggrann analys av affärsprocesser i stora organisationer, moderna design- och utvecklingstrender, samt en betydande mängd kompetenta specialister. Vårt e-postsystem utvecklas varje dag.

Just nu har vi nästan femtio lediga tjänster inom utveckling. Kom och jobba med oss om du vill vara med och skapa en produkt som kan förändra det korporativa världens syn på e-post.

Källa: habr.com