Fa gairebé quatre anys vam començar a dissenyar un sistema de correu electrònic distribuït fonamentalment nou, Mailion, que està dissenyat per a comunicacions corporatives. La nostra solució es basa en l'arquitectura de microserveis Cloud Native, és capaç de treballar amb més d'1 d'usuaris simultàniament i estarà preparada per cobrir el 000% de les necessitats de les grans corporacions.
Durant el treball a Mailion, l'equip ha crescut diverses vegades, i ara gairebé 70 desenvolupadors participen en el producte. Hem recorregut un llarg camí des de la idea i els primers prototips fins a l'etapa de pilotatge d'una versió comercial. És hora d'explicar a Habr quin tipus de producte estem creant, com s'estructura i funciona el nostre sistema de correu, quina pila de tecnologia fem servir i per què la nostra solució és el futur de les comunicacions corporatives. Som-hi!
Habr, hola! Em dic Anton Gerasimov, dirigeixo el departament de desenvolupament del centre de desenvolupament de l'empresa a Moscou . Avui ens agradaria presentar Mailion, un sistema de correu de classe empresarial rus fonamentalment nou que es convertirà en una alternativa digna a les solucions estrangeres populars. Mailion té una gran capacitat de càrrega, una escalabilitat i una tolerància a errors sense precedents, i requereix una atenció mínima dels administradors del sistema.
Actualment el nostre desenvolupament es troba en fase beta, però molt aviat, segons el nostre pla, a finals de 2020, es convertirà en una implementació pilot d'un producte comercial.
En la seva majoria, aquest article conté informació general: simplement és impossible parlar d'un producte de programari complex en una publicació. Penso fer una sèrie d'articles parlant de tecnologies clau. Mentrestant, per a la vostra comoditat, us ofereixo el següent contingut:
Què és un sistema de correu electrònic corporatiu?
La resposta senzilla i òbvia a aquesta pregunta és una eina de correu electrònic i calendari. Però el dimoni, com sabem, està en els detalls.
Així doncs, estem creant una nova generació de correu amb funcions de programació avançades, que s'adreça al segment corporatiu i grans empreses. Estem destinats a treballar amb grans estructures comercials i governamentals, que poden tenir des de 30 mil fins a diversos centenars de milers de llocs de treball.
El nostre sistema es basa en el principi d'una solució de plataforma. Ens basem en el concepte de comunicacions unificades i oferim una única eina per treballar amb correu, calendari i documents dins d'un mateix sistema, amb la possibilitat d'ampliar la funcionalitat de la solució connectant mòduls i components addicionals. Les extensions, per cert, les podem desenvolupar no només nosaltres, sinó també els nostres socis. Amb aquesta finalitat, es publicarà un conjunt d'eines SDK força ampli.
Qui necessita un altre correu i per què?
Les grans empreses han format una tendència interessant: les empreses estan experimentant la necessitat de funcions de col·laboració. Estem parlant no només de la interacció directa entre els empleats mitjançant l'enviament d'alguna cosa, sinó de l'accés compartit a bústies de correu i comptes de rol, la capacitat de treballar amb grans grups de participants i la presència de diverses funcions corporatives.
Una funció corporativa típica és un mecanisme per recordar cartes, que és molt popular a les grans empreses, però pràcticament no s'utilitza ni en el segment B2C ni en les petites empreses. El cas és que entre grups reduïts d'usuaris la probabilitat que sorgeixi aquesta necessitat és bastant petita i el cost d'un error és molt menor. A més, és senzillament impossible implementar aquesta funció fora del sistema de correu corporatiu; fins i tot el correu de Google no recorda les cartes en la forma a què estan acostumats els usuaris d'Exchange. L'arrel del problema rau en el disseny de protocols de correu dels anys 80 del segle passat.
Hem realitzat desenes de grups focals, hem enquestat centenars d'usuaris i hem dedicat milers d'hores-home a identificar escenaris típics d'ús del correu electrònic. Això ens va permetre estudiar detingudament les necessitats dels nostres usuaris potencials i les característiques dels seus processos de negoci. A partir de les dades obtingudes, vam decidir desenvolupar una arquitectura que ens permetés escalar al volum de càrrega requerit si cal. En la nostra opinió, no hi ha cap límit, però de moment entenem com garantir el treball de les empreses que donen feina a diversos centenars de milers d'usuaris.
Què s'amaga sota el capó
El nostre producte inclou una solució de correu electrònic, una eina de planificació del calendari, una llibreta d'adreces, així com la visualització interactiva de documents basada en la nostra solució MyOffice per treballar amb documents.
Com que estem parlant d'una solució a nivell corporatiu, una part integral del correu corporatiu també és un sistema de cerca complet. La nostra solució és capaç de realitzar una cerca morfològica d'extrem a extrem en tots els components. A més, tot el sistema de correu es basa en el seu propi emmagatzematge, que també està optimitzat per a la col·laboració.
Quines diferències hi ha entre els sistemes de correu MyOffice?
Un lector Habr que ja té experiència treballant amb solucions MyOffice sap que els productes comercials inclouen "MyOffice Mail". I sorgeix la pregunta: quines són les seves diferències amb el sistema de correu electrònic corporatiu Mailion, en el qual va treballar el meu equip?
A MyOffice vam decidir que per satisfer les necessitats d'empreses de diferents mides, cal crear dos sistemes de correu electrònic de classe empresarial. El producte MyOffice Mail està pensat per a organitzacions en què el nombre d'usuaris ascendeix a milers o diverses desenes de milers. Per a estructures més grans, és més recomanable utilitzar Mailion, el nou producte MyOffice, que es basa en l'arquitectura de microserveis Cloud Native i té capacitats d'escala i tolerància a errors sense precedents.
A l'hora d'escollir productes, els clients han de decidir per endavant l'estratègia per al desenvolupament de la seva empresa. Per a qualsevol organització, la implementació d'un sistema de correu electrònic és un treball de projecte complex que no implica substituir ràpidament una solució per una altra. Per tant, s'han de tenir en compte prèviament la càrrega màxima possible, la tolerància a fallades i els criteris d'autocuració, així com el factor de distribució geogràfica.
Els dos sistemes de correu electrònic de MyOffice són fonamentalment diferents. Es construeixen utilitzant diferents piles de tecnologia, i les eines per a cada sistema es seleccionen d'acord amb les metes i objectius del segment en què es desplegarà el sistema de correu. Tenim una visió de producte comuna del que hauria d'estar present en els sistemes de correu, així com la sincronització en els enfocaments del disseny. Però aquests són dos productes dissenyats per a diferents públics d'usuaris.
Quins reptes s'enfronten els desenvolupadors?
Més endavant en el text només parlaré del nou sistema de correu corporatiu Mailion.
Hem realitzat una investigació exhaustiva i hem analitzat els avantatges i els inconvenients de les solucions de correu electrònic existents. L'experiència acumulada dels nostres especialistes, que en el passat estaven directament implicats en la creació de sistemes d'alta càrrega, ens va permetre identificar ràpidament el principal problema de qualsevol producte conegut: el rendiment de les operacions d'entrada i sortida de disc (IO). .
Podem dir que la tasca d'accelerar les operacions d'IO es va convertir en el principal repte que vam enfrontar. Va ser necessari centrar-nos a resoldre els nostres problemes específics i vam començar a crear i desenvolupar el nostre propi sistema d'emmagatzematge de dades binàries. Aquest enfocament té un component econòmic molt evident: no només necessitem emmagatzemar dades, sinó també realitzar moltes operacions d'entrada i sortida de disc.
Aquesta decisió no es va prendre a la lleugera. Hem estudiat molts productes de classe empresarial que tenen com a objectiu emmagatzemar informació i no hem trobat res preparat i adequat per als nostres requisits. Al cap i a la fi, no només cal emmagatzemar dades, sinó també treballar-hi constantment, i no en un mode exclusiu amb accés a un usuari, sinó garantir la possibilitat de col·laboració entre diverses desenes de milers d'usuaris.
Així doncs, hem determinat que el criteri corporatiu de màxima prioritat per a nosaltres és treballar amb grans volums de dades.
Fiabilitat
A més, no es tracta tant d'emmagatzematge com d'una tasca de processament i accés ràpid a aquesta informació. Cal garantir indicadors d'alta fiabilitat: el temps de funcionament continu de tota la solució hauria d'estar al nivell del 99,9%. Al mateix temps, el sistema de correu ha de ser autònom per prendre les decisions correctes sobre la tramitació de les denegacions. Només així podrem garantir l'absència de fallades que puguin paralitzar els processos de negoci d'una empresa concreta.
falta de tolerància
Hem treballat amb un conjunt de mesures que s'apliquen a cada component i enfocaments seleccionats per garantir la tolerància a fallades. En particular, el sistema de correu corporatiu utilitza el tractament de les dades de quòrum, la reserva de serveis i el control de l'absència dels seus estats, així com els seus propis mecanismes d'encaminament i suport de quòrum basats en el consens.
Un criteri d'alta tolerància a fallades és la presència de mecanismes d'autocontrol en cada component. Mailion analitza constantment si aquesta o aquella funció s'executa correctament o incorrectament, si aquest o aquell bloc funciona correctament. Aquest és un dels mitjans d'autocuració del sistema en cas de fallada. La informació no s'ha de perdre, la solució ha d'arribar finalment a un estat coherent.
Heu d'entendre que no és possible preveure tots els esdeveniments possibles de la vida: no podeu enganyar la física. Però ens adherim a aquests enfocaments de disseny que ens permeten parlar amb un grau de confiança bastant alt sobre el tractament correcte dels accidents de determinats patrons. També tenim un gran grup de proves que sempre intenta trencar alguna cosa al producte. I de vegades ho aconsegueixen. Aquest fet desencadena una incidència, que estudiem amb detall i, a partir d'ella, creem un nou mecanisme per eliminar aquest tipus de problemes.
Com reacciona el sistema davant els accidents
El mercat sovint es fa la pregunta: què passarà amb el sistema si de sobte perd la comunicació amb un dels seus nodes? Aquesta sol·licitud és especialment rellevant si teniu previst implementar una solució distribuïda geogràficament.
A l'hora de dissenyar aquesta instal·lació, cal tenir en compte les necessitats del client i el seu conjunt de criteris de fiabilitat. És un error creure que la connexió a la xarxa de dades és la mateixa a tot arreu. En els sistemes empresarials, és important tenir en compte fins i tot la velocitat del senyal a través de la fibra òptica.
Si el client té alts requisits de fiabilitat, recomanarem la instal·lació en diversos centres de dades, que es connectaran per línies de comunicació dedicades.
No obstant això, no es pot descartar l'escenari d'una interrupció total del subministrament elèctric en un dels nodes del sistema postal. En aquest cas, el treball amb les dades mestres d'aquest segment s'aturarà, però les parts restants funcionaran com si res. El sistema notificarà als administradors que s'ha perdut un node i els empleats hauran de prendre les mesures necessàries.
A més, el nostre sistema de correu es pot configurar de manera que les reserves es produeixin dins del centre de dades. Aquest enfocament garantirà l'operabilitat en cas de pèrdua de diversos nodes dins del centre de dades, i ningú no notarà la pèrdua d'un dels nodes, excepte, per descomptat, el sistema de monitorització. Quan es produeix un esdeveniment així, la càrrega es redistribueix simplement. Per tant, a l'hora de dissenyar un sistema de correu, és important tenir en compte el marge: quants i quins components es poden "perdre" en un accident.
Independència
No hi ha sistemes absolutament fiables i es poden produir falles, d'una manera o altra. Per tant, a l'hora de dissenyar un sistema de correu, és important garantir la capacitat de localitzar ràpidament els errors, la qual cosa permetrà eliminar-los dins d'un període de SLA determinat. A més, els errors han de ser corregits pel sistema de manera independent, alhora que es minimitza la intervenció dels administradors del sistema i els serveis operatius.
Facilitat de funcionament
Per descomptat, els grans sistemes no poden sinó requerir l'atenció d'empleats altament qualificats. Però un dels aspectes que tenim en compte a l'hora de dissenyar és que el sistema ha de ser fàcil d'administrar i no requerir competències úniques.
Eficiència econòmica
Per descomptat, per treballar amb aquests sistemes corporatius, cal la formació dels empleats; després de tot, estem parlant d'una escala realment enorme. Per tant, en crear el nostre producte, ens hem centrat a reduir el cost total de propietat del sistema. Per a qualsevol empresa, és important supervisar l'eficiència de la despesa i esforçar-se per evitar abocar diners sense parar a les despeses d'explotació.
Descentralització
Per aconseguir els principis dels quals he parlat anteriorment, el sistema ha d'estar completament distribuït: un enfocament centralitzat sempre està limitat per les condicions d'ús del maquinari.
Per descomptat, podeu comprar un servidor gran i intentar instal·lar-hi totes les aplicacions i serveis. Però com més gran és el sistema, més complex és el disseny sencer i la fiabilitat d'aquest sistema està disminuint constantment; després de tot, un servidor significa un únic punt de fallada. I com més centralitzem el treball, més depenem d'aquest punt central.
Requisits del sistema
Quan parlem de sistemes de correu electrònic corporatius complexos, hem d'entendre que no existeix una "configuració mínima per al funcionament". La base de qualsevol implementació gran sempre és un treball seriós de disseny. Permet correlacionar les necessitats d'un negoci concret i la configuració òptima del sistema de correu.
Un sistema de correu electrònic corporatiu és una eina flexible que es pot configurar segons un gran nombre de paràmetres. Realitzem proves de càrrega utilitzant una metodologia pròpia, que ens permet simular la càrrega a partir de l'anàlisi d'una dotzena de criteris bàsics i centenars de possibles.
Podem dir que a l'hora de preparar un projecte d'implementació, són els càlculs els que mostraran la intensitat de treball de l'usuari en els processos de negoci existents de l'organització. En aquest cas, s'analitzen molts paràmetres d'entrada i, depenent de la possible càrrega, es pren una decisió sobre la quantitat de potència de càlcul requerida, des d'un ordinador fins a tota una sala d'ordinadors.
Per tant, parlar d'algunes configuracions mínimes no és del tot correcte. En particular, també disposem d'un estand de demostració que funciona amb una sola màquina. Però entenem que treballar en el segment corporatiu requereix la instal·lació en desenes i fins i tot centenars de màquines virtuals.
Pila de tecnologia
Quan creem productes, prestem especial atenció a la puresa amb llicència del codi. MyOffice ha establert i opera uns estàndards de qualitat elevats, que ens obliguen a desenvolupar productes de manera independent i completament, amb la mínima implicació de codi extern.
Gran part del codi de Mailion és nostre, codi del qual som totalment propietaris dels drets i que podem canviar i modificar segons sigui necessari. La major part del codi del nostre sistema de correu electrònic s'escriu internament a Go (Golang). A més de Go, utilitzem C++ i Java Script ES6 per a la part web.
El 5% restant són els anomenats “components pesats”, com les bases de dades. Aquests inclouen RethinkDB, ArangoDB i Redis. Entre les tecnologies clau, també destacaré gRPC: un sistema de trucades de procediment remot, que s'utilitza com a mecanisme únic per a la interacció mitjançant API, aquesta és una part important.
En què consisteix el producte?
Un sistema de correu electrònic corporatiu no és un "servidor al buit". El nostre producte inclou uns 70 components i 45 serveis que mantenen el sistema de correu. Tots aquests elements estan escrits "des de zero" i són desenvolupament propi de MyOffice.
La part més notable del sistema és el complex de servidors, que proporciona emmagatzematge, correu, calendari i sistemes de cerca, i un client web. També estem desenvolupant diverses aplicacions d'usuari i tenim previst oferir als nostres usuaris nous "clients prims" basats en les nostres tecnologies de client web en el moment del llançament comercial.
Compatibilitat amb sistemes de correu
Mailion funciona utilitzant protocols estàndard. Per començar a utilitzar la nostra solució, només cal que configureu les aplicacions client i continueu treballant amb elles al vostre entorn habitual. Per exemple, podeu utilitzar l'aplicació client inclosa al producte MyOffice Mail.
A més, per a la comoditat dels nostres usuaris, hem creat un connector especial que proporciona una transició perfecta des de Exchange. Amb la seva ajuda, els usuaris podran continuar treballant amb MS Outlook quan substitueixin un servidor de correu; ni tan sols notaran que ha canviat res en la seva interacció habitual amb les eines de comunicació. Aquest connector us permet transferir sense problemes els usuaris del sistema de correu anterior, sense aturar el treball de tota l'organització. Això és especialment important si necessiteu substituir eines per servir centenars de milers d'usuaris.
Facilitat d'administració
La particularitat del nostre sistema de correu corporatiu és que requereix molt poca participació dels administradors. A l'hora de dissenyar, hem intentat trobar un equilibri entre la possibilitat de personalització i la complexitat de la gestió. Per aconseguir-ho, calia dur a terme moltes investigacions sobre els patrons de comportament dels administradors de sistemes corporatius complexos.
El nostre equip està format, com he dit abans, per especialistes altament qualificats, cadascun d'ells amb una sòlida experiència administrativa. Per això, a l'hora de desenvolupar el sistema, hem intentat traslladar la seva experiència a les necessitats dels usuaris a l'hora de gestionar un producte complex. En altres paraules, coneixent els problemes potencials, vam oferir de manera proactiva maneres de resoldre'ls a nivell de disseny arquitectònic.
Per exemple,
- Es proporciona l'aïllament dels components del sistema als contenidors, inclosos els d'infraestructura; això ens ajuda a augmentar el nivell de seguretat, configurar l'accés entre components de manera flexible i també ens permet incloure ràpidament nous elements que requereixen les empreses a la llista de sistemes i plataformes compatibles;
- un enfocament unificat de desenvolupament i desplegament, un format de configuració únic per a tots els components contribueixen a un funcionament més clar i eficient i redueixen els costos de suport;
- el vostre propi instal·lador del sistema, basat en eines de desplegament familiars, us permet gestionar la instal·lació de manera centralitzada, flexible i clara;
L'arquitectura de microserveis amb una clara divisió de les responsabilitats de la lògica empresarial entre els serveis ajuda a entendre l'esquema de funcionament del sistema i a proporcionar suport de manera més eficient; - la part d'infraestructura del sistema es basa en solucions familiars, utilitzant bones pràctiques, i també permet la integració amb sistemes existents a l'empresa, la qual cosa simplifica la posada en marxa del sistema dins de l'empresa;
- Amb aquesta finalitat, l'emmagatzematge disposarà d'un sistema basat en intel·ligència artificial, que serà capaç d'identificar de manera independent possibles avaries i controlar l'equip.
Disseny modern
Es van necessitar diversos milers d'hores-home per crear el disseny del producte. La tasca de desenvolupament era fer que la interfície fos moderna, fàcil i intuïtiva. Això és difícil quan esteu dissenyant un sistema empresarial, que per defecte ha d'incloure una sèrie de funcions específiques.
Per descomptat, el disseny no es pot "tallar a la pedra" ni aprovar-se amb una signatura i un segell: és una eina viva, es desenvolupa i millora constantment. Al llarg de quatre anys, vam transformar el disseny diverses vegades, però no hi va haver cap canvi radical d'ideologia. El principi clau per construir una línia de productes corporativa sencera és crear un sistema de disseny universal.
A l'hora de dissenyar el disseny d'un sistema de correu electrònic corporatiu, hem prestat especial atenció al desenvolupament de tres àrees clau: l'adaptabilitat, la coherència i la capacitat d'adaptació a l'estil corporatiu del client.
Adaptabilitat
Una característica especial del disseny de les interfícies del sistema de correu corporatiu Mailion és la possibilitat de mostrar-lo en dispositius amb pantalles de qualsevol mida. Tots els components visuals es representen amb cura, s'escalen correctament quan s'executen en dispositius mòbils i són excel·lents fins i tot per controlar els dits a les pantalles tàctils. A més, quan canvieu la mida de la finestra de l'aplicació, la disposició de les columnes també es transforma: la mida de les columnes canvia proporcionalment, d'acord amb els postulats del concepte d'aplicacions d'Internet riques.
Coherència
El disseny del sistema de correu electrònic corporatiu Mailion es basa en un enfocament sistemàtic. Estem desenvolupant aquest àmbit des de principis del 2017, quan no estava tan de moda parlar de sistemes de disseny com ara. Un sistema de disseny és un conjunt de normes i eines d'execució visual i tècnica que reflecteix la filosofia del producte i està en constant evolució. El vam introduir per simplificar la comunicació entre desenvolupament i disseny.
Configuració d'una identitat corporativa
El nostre disseny és un “camaleó”, capaç d'adaptar-se a l'estil corporatiu de qualsevol client. Els colors de tots els elements de la interfície es defineixen mitjançant variables. Així, canviant el conjunt bàsic de diversos colors, podeu tornar a pintar totes les aplicacions alhora.
Els tipus de lletra també es defineixen mitjançant variables: la interfície pot utilitzar el tipus de lletra corporatiu de l'empresa client, si així ho preveu el llibre de marca del client. Al mateix temps, diferents tipus de lletra poden tenir diferents mides de lletra, i això ho tenim en compte. Per exemple, PT Sans de mida 16 sembla notablement més petit que Roboto de la mateixa mida 16. Per tant, ajustem la mida dels blocs de text a les característiques d'una font concreta.
Dedicarem articles separats a l'estructura de la nostra biblioteca de colors i a les característiques de treballar amb tipus de lletra.
Aplicacions mòbils
Una part integral de qualsevol sistema de correu electrònic modern són les aplicacions mòbils: els usuaris haurien de poder treballar des de qualsevol lloc i en qualsevol moment.
Ara només estem formant el concepte d'aplicacions mòbils corporatives; haurien de tenir en compte les diferències en la funcionalitat dels sistemes de correu electrònic MyOffice i oferir diferents enfocaments per a l'ús de sistemes de correu electrònic i calendari a les corporacions.
Panell multimèdia intel·ligent
Els nostres grups de discussió van demostrar que els usuaris troben feixugues les interfícies dels sistemes de correu electrònic tradicionals. Els enquestats que vam entrevistar van assenyalar que treballar amb esdeveniments del calendari i fitxers adjunts era especialment difícil. Hem intentat aconseguir una interfície sensible i augmentar la productivitat, perquè el nostre producte sigui agradable d'utilitzar.
Media Panel, una nova eina per accelerar la col·laboració, organitza tota la informació sobre la correspondència i proporciona accés instantani a una llista de participants en correspondència, enllaços i versions de documents que s'han enviat mai.
Aquesta eina ajuda en situacions en què els usuaris han de treballar amb grans pistes de centenars de missatges. Sovint passa que necessiteu trobar un document o una imatge que només hi havia en un d'ells. El tauler multimèdia crea una llista de tots els elements d'una cadena de correu electrònic i els mostra en un sol lloc. Com a resultat, trobar l'objecte desitjat es fa molt més fàcil.
Локализация
No només els usuaris russos necessiten un sistema de correu electrònic corporatiu. MyOffice segueix una política coherent d'entrada als mercats estrangers, de manera que es presta molta atenció als problemes de localització de productes.
En el nostre producte, la necessitat de localització a idiomes estrangers es va establir inicialment, a nivell de la part bàsica del sistema. En si mateix, afegir nous idiomes no és un gran problema per a nosaltres: és una tasca completament comprensible que sabem resoldre.
Actualment, els idiomes rus i anglès estan disponibles per als usuaris. En els propers llançaments, afegirem suport al sistema de correu electrònic corporatiu per als idiomes en què funcionen els productes MyOffice: francès, espanyol, portuguès i altres. D'alguna manera, és més fàcil per a nosaltres que per als companys de departaments veïns, ja que per als sistemes de correu i calendari només hem de tenir en compte l'alfabet i les característiques de treballar amb dates i hores -afortunadament, no disposem de fórmules com en un editor de fulls de càlcul.
Sí, estem contractant!
Va trigar diversos centenars d'anys-homes per crear el nostre producte. I encara que ho volgués, no us podria explicar tot alhora en un sol article. No obstant això, espero que aquesta publicació serveixi de punt de partida per conèixer el nostre producte; com he dit més amunt, penso parlar amb més detall en el futur tant de la solució en si i de les seves característiques, com del nostre desenvolupament. enfocaments.
Sense cap ombra de modèstia, també diré que avui el nombre d'empreses que desenvolupen aquest tipus de sistemes de correu a tot el món és només unes poques. Es tracta d'una tasca d'enginyeria realment complexa; requereix una comprensió profunda de les necessitats dels clients corporatius i una anàlisi exhaustiva dels processos de negoci de les grans organitzacions, les tendències modernes en disseny i desenvolupament, així com un bon nombre d'especialistes competents. El nostre sistema postal evoluciona cada dia.
Ara mateix estem gairebé oberts vacants en desenvolupament. Vine a treballar amb nosaltres si vols treballar amb nosaltres per crear un producte que pugui canviar la manera com el món corporatiu pensa sobre el correu electrònic.
Font: www.habr.com