Hace casi cuatro años comenzamos a diseñar un sistema de correo electrónico distribuido fundamentalmente nuevo, Mailion, que está diseñado para comunicaciones corporativas. Nuestra solución está construida sobre la arquitectura de microservicios Cloud Native, es capaz de trabajar con más de 1 de usuarios simultáneamente y estará preparada para cubrir el 000% de las necesidades de grandes corporaciones.
Durante el trabajo en Mailion, el equipo ha crecido varias veces y ahora casi 70 desarrolladores están involucrados en el producto. Hemos recorrido un largo camino desde la idea y los primeros prototipos hasta la fase de pilotaje de una versión comercial. Es hora de contarle a Habr qué tipo de producto estamos creando, cómo está estructurado y funciona nuestro sistema de correo, qué tecnología utilizamos y por qué nuestra solución es el futuro de las comunicaciones corporativas. ¡Vamos!
Habr, hola! Mi nombre es Anton Gerasimov, jefe del departamento de desarrollo en el centro de desarrollo de la empresa en Moscú. . Hoy nos gustaría presentarles Mailion, un sistema de correo empresarial ruso fundamentalmente nuevo que será una alternativa digna a las populares soluciones extranjeras. Mailion tiene una alta capacidad de carga, una escalabilidad y tolerancia a fallos sin precedentes, y requiere una atención mínima por parte de los administradores del sistema.
Actualmente nuestro desarrollo se encuentra en la etapa beta, pero muy pronto, según nuestro plan, a finales de 2020, se convertirá en una implementación piloto de un producto comercial.
En su mayor parte, este artículo contiene información general; es simplemente imposible hablar de un producto de software complejo en una sola publicación. Planeo hacer una serie de artículos hablando sobre tecnologías clave. Mientras tanto, para tu comodidad, te ofrezco el siguiente contenido:
¿Qué es un sistema de correo electrónico corporativo?
La respuesta simple y obvia a esta pregunta es una herramienta de correo electrónico y calendario. Pero el problema, como sabemos, está en los detalles.
Así, estamos creando una nueva generación de correo con funciones avanzadas de programación, dirigida al segmento corporativo y grandes empresas. Nuestro objetivo es trabajar con grandes estructuras comerciales y gubernamentales, que pueden tener entre 30 y varios cientos de miles de puestos de trabajo.
Nuestro sistema se basa en el principio de una solución de plataforma. Nos basamos en el concepto de Comunicaciones Unificadas y ofrecemos una única herramienta para trabajar con correo, calendario y documentos dentro de un sistema, con la capacidad de ampliar la funcionalidad de la solución conectando módulos y componentes adicionales. Las extensiones, por cierto, las podemos desarrollar no sólo nosotros, sino también nuestros socios. Para ello, se publicará un conjunto de herramientas SDK bastante amplio.
¿Quién necesita otro correo y por qué?
Las grandes empresas han formado una tendencia interesante: las empresas están experimentando la necesidad de funciones de colaboración. Estamos hablando no solo de interacción directa entre empleados mediante el envío de algo, sino de acceso compartido a buzones de correo y cuentas de juegos de roles, la capacidad de trabajar con grandes grupos de participantes y la presencia de diversas funciones corporativas.
Una función corporativa típica es un mecanismo para recuperar cartas, que es muy popular en las grandes empresas, pero prácticamente no se utiliza ni en el segmento B2C ni en las pequeñas empresas. El caso es que entre pequeños grupos de usuarios la probabilidad de que surja tal necesidad es bastante pequeña y el coste de un error es mucho menor. Además, es simplemente imposible implementar esta función fuera del sistema de correo corporativo; ni siquiera el correo de Google recuerda las cartas en la forma a la que están acostumbrados los usuarios de Exchange. La raíz del problema está en el diseño de protocolos de correo de los años 80 del siglo pasado.
Realizamos docenas de grupos focales, encuestamos a cientos de usuarios y dedicamos varios miles de horas de trabajo a identificar escenarios típicos de uso del correo electrónico. Esto nos permitió estudiar cuidadosamente las necesidades de nuestros usuarios potenciales y las características de sus procesos comerciales. Con base en los datos obtenidos, decidimos desarrollar una arquitectura que nos permitiera escalar al volumen de carga requerido si fuera necesario. En nuestra opinión, no existe ningún límite, pero por el momento sabemos cómo garantizar el trabajo de las empresas que emplean varios cientos de miles de usuarios.
¿Qué se esconde debajo del capó?
Nuestro producto incluye una solución de correo electrónico, una herramienta de planificación de calendario, una libreta de direcciones y visualización interactiva de documentos basada en nuestra solución MyOffice para trabajar con documentos.
Dado que estamos hablando de una solución a nivel corporativo, una parte integral del correo corporativo es también un sistema de búsqueda completo. Nuestra solución es capaz de realizar búsquedas morfológicas de un extremo a otro en todos los componentes. Además, todo el sistema de correo se basa en un almacenamiento propio, que también está optimizado para la colaboración.
¿Cuáles son las diferencias entre los sistemas de correo MyOffice?
Un lector de Habr que ya haya tenido experiencia trabajando con soluciones MyOffice sabe que los productos comerciales incluyen "MyOffice Mail". Y surge la pregunta: ¿cuáles son sus diferencias con el sistema de correo electrónico corporativo Mailion, en el que trabajó mi equipo?
En MyOffice decidimos que para satisfacer las necesidades de empresas de diferentes tamaños, es necesario crear dos sistemas de correo electrónico de clase empresarial. El producto MyOffice Mail está destinado a organizaciones en las que el número de usuarios asciende a miles o varias decenas de miles. Para estructuras más grandes, es más recomendable utilizar Mailion, el nuevo producto MyOffice, que se basa en la arquitectura de microservicio Cloud Native y tiene capacidades de escalamiento y tolerancia a fallas sin precedentes.
Al elegir los productos, los clientes deben decidir de antemano la estrategia para el futuro desarrollo de su empresa. Para cualquier organización, implementar un sistema de correo electrónico es un trabajo de proyecto complejo que no implica reemplazar rápidamente una solución por otra. Por lo tanto, se deben tener en cuenta de antemano la carga máxima posible, la tolerancia a fallos y los criterios de autorreparación, así como el factor de distribución geográfica.
Los dos sistemas de correo electrónico de MyOffice son fundamentalmente diferentes. Se construyen utilizando diferentes pilas de tecnología y las herramientas para cada sistema se seleccionan de acuerdo con las metas y objetivos del segmento en el que se implementará el sistema de correo. Tenemos una visión de producto común sobre lo que debería estar presente en los sistemas de correo, así como la sincronización en los enfoques del diseño. Pero estos son dos productos que están diseñados para diferentes audiencias de usuarios.
¿A qué desafíos se enfrentan los desarrolladores?
Más adelante en el texto sólo hablaré del nuevo sistema de correo corporativo Mailion.
Realizamos una investigación exhaustiva y analizamos las ventajas y desventajas de las soluciones de correo electrónico existentes. La experiencia acumulada de nuestros especialistas, que en el pasado estuvieron directamente involucrados en la creación de sistemas de alta carga, nos permitió identificar rápidamente el principal problema de cualquier producto conocido: el desempeño de las operaciones de entrada y salida del disco (IO). .
Podemos decir que la tarea de acelerar las operaciones de IO se convirtió en el principal desafío al que nos enfrentamos. Era necesario centrarnos en solucionar nuestros problemas específicos y comenzamos a crear y desarrollar nuestro propio sistema de almacenamiento de datos binarios. Este enfoque tiene un componente económico muy obvio: no solo necesitamos almacenar datos, sino también realizar muchas operaciones de entrada y salida en el disco.
Esta decisión no se tomó a la ligera. Estudiamos muchos productos de clase empresarial destinados a almacenar información y no pudimos encontrar nada ya preparado que se adaptara a nuestras necesidades. Después de todo, no sólo necesitamos almacenar datos, sino también trabajar constantemente con ellos, y no de forma exclusiva con acceso a un usuario, sino garantizar la posibilidad de colaboración entre varias decenas de miles de usuarios.
Por eso hemos determinado que el criterio corporativo de máxima prioridad para nosotros es trabajar con grandes volúmenes de datos.
Confiabilidad
Además, no se trata tanto de una cuestión de almacenamiento como de una tarea de procesamiento y acceso rápido a esta información. Se requiere garantizar altos indicadores de confiabilidad: el tiempo de funcionamiento continuo de toda la solución debe ser del 99,9%. Al mismo tiempo, el sistema postal debe ser autónomo a la hora de tomar las decisiones correctas sobre la tramitación de las denegaciones. Sólo así podremos asegurar la ausencia de fallos que puedan paralizar los procesos de negocio de una determinada empresa.
Tolerancia a fallos
Hemos trabajado a través de un conjunto de medidas que se aplican a cada componente y enfoques seleccionados para garantizar la tolerancia a fallas. En particular, el sistema de correo corporativo utiliza procesamiento de datos de quórum, reserva de servicios y control de ausencia de sus estados, así como mecanismos propios de enrutamiento y soporte de quórum basados en consenso.
Un criterio para una alta tolerancia a fallas es la presencia de mecanismos de autoverificación en cada componente. Mailion analiza constantemente si tal o cual función se ejecuta correcta o incorrectamente, si tal o cual bloque funciona correctamente. Este es uno de los medios de autocuración del sistema en caso de falla. La información no debe perderse; en última instancia, la solución debe alcanzar un estado consistente.
Debes entender que no es posible prever todos los acontecimientos posibles en la vida; no se puede engañar a la física. Pero nos adherimos a enfoques de diseño que nos permiten hablar con un grado bastante alto de confianza sobre el manejo correcto de accidentes de ciertos patrones. También contamos con un gran grupo de pruebas que siempre intenta romper algo en el producto. Y a veces lo consiguen. Este hecho desencadena una incidencia, que estudiamos en detalle y, en base a ella, creamos un nuevo mecanismo para eliminar este tipo de problemas.
Cómo reacciona el sistema ante los accidentes
El mercado a menudo se pregunta: ¿qué pasará con el sistema si de repente pierde la comunicación con uno de sus nodos? Esta solicitud es especialmente relevante si planea implementar una solución distribuida geográficamente.
Al diseñar una instalación de este tipo, es necesario tener en cuenta las necesidades del cliente y su conjunto de criterios de fiabilidad. Es un error creer que la conexión a la red de datos es igual en todas partes. En los sistemas empresariales, es importante considerar incluso la velocidad de la señal a través de la fibra óptica.
Si el cliente tiene altos requisitos de confiabilidad, recomendaremos la instalación en varios centros de datos, que estarán conectados mediante líneas de comunicación dedicadas.
Sin embargo, no se puede descartar la posibilidad de un apagón total en uno de los nodos del sistema postal. En este caso, el trabajo con los datos maestros de este segmento se detendrá, pero las partes restantes funcionarán como si nada. El sistema notificará a los administradores que se ha perdido un nodo y se pedirá a los empleados que tomen las medidas adecuadas.
Además, nuestro sistema de correo se puede configurar de tal manera que las reservas se realicen dentro del centro de datos. Este enfoque garantizará la operatividad en caso de pérdida de varios nodos dentro del centro de datos, y nadie notará la pérdida de uno de los nodos, excepto, por supuesto, el sistema de monitoreo. Cuando ocurre tal evento, la carga simplemente se redistribuye. Por lo tanto, al diseñar un sistema de correo, es importante tener en cuenta el margen: cuántos y qué componentes pueden "perderse" en un accidente.
Autonomía
No existen sistemas absolutamente fiables y pueden producirse fallos, de una forma u otra. Por lo tanto, al diseñar un sistema de correo, es importante garantizar la capacidad de localizar rápidamente las fallas, lo que permitirá eliminarlas dentro de un cierto período de SLA. Además, las fallas deben ser corregidas por el sistema de forma independiente, minimizando al mismo tiempo la intervención de los administradores del sistema y los servicios operativos.
Operación fácil
Por supuesto, los sistemas grandes no pueden dejar de requerir la atención de empleados altamente calificados. Pero uno de los aspectos que consideramos al diseñar es que el sistema debe ser fácil de administrar y no requerir competencias únicas.
la eficiencia económica
Por supuesto, para trabajar con cualquiera de estos sistemas corporativos, se requiere capacitación de los empleados; después de todo, estamos hablando de una escala realmente enorme. Por lo tanto, al crear nuestro producto, nos enfocamos en reducir el costo total de propiedad del sistema. Para cualquier negocio, es importante controlar la eficiencia del gasto y esforzarse por evitar invertir dinero sin cesar en gastos operativos.
Descentralización
Para lograr los principios de los que hablé antes, el sistema debe estar completamente distribuido; un enfoque centralizado siempre está limitado por las condiciones de uso del hardware.
Por supuesto, puedes comprar un servidor grande e intentar instalar todas las aplicaciones y servicios en él. Pero cuanto más grande es el sistema, más complejo es todo el diseño y la confiabilidad de dicho sistema disminuye constantemente; después de todo, un servidor significa un único punto de falla. Y cuanto más centralizamos el trabajo, más dependemos de este punto central.
Системные требования
Cuando hablamos de sistemas complejos de correo electrónico corporativo, debemos entender que no existe una “configuración mínima de funcionamiento”. La base de cualquier implementación importante es siempre un trabajo de diseño serio. Le permite correlacionar las necesidades de una empresa específica y la configuración óptima del sistema de correo.
Un sistema de correo electrónico corporativo es una herramienta flexible que se puede configurar según una gran cantidad de parámetros. Realizamos pruebas de carga utilizando una metodología propia, que nos permite simular la carga a partir del análisis de una docena de criterios básicos y varios cientos de posibles.
Podemos decir que al preparar un proyecto de implementación, son los cálculos los que mostrarán la intensidad del trabajo del usuario en los procesos de negocio existentes de la organización. En este caso, se analizan muchos parámetros de entrada y, dependiendo de la posible carga, se toma una decisión sobre la cantidad de potencia informática requerida, desde una computadora hasta toda una sala de computadoras.
Por tanto, hablar de algunas configuraciones mínimas no es del todo correcto. En particular, también disponemos de un stand de demostración que funciona con una sola máquina. Pero entendemos que trabajar en el segmento corporativo requiere la instalación en decenas e incluso cientos de máquinas virtuales.
Pila de tecnología
Al crear productos, prestamos especial atención a la pureza del código bajo licencia. MyOffice ha establecido y opera altos estándares de calidad, que nos exigen desarrollar productos de forma completamente independiente, con una mínima participación de código externo.
Gran parte del código de Mailion es nuestro, código sobre el cual poseemos todos los derechos y que podemos cambiar y modificar según sea necesario. La mayor parte del código de nuestro sistema de correo electrónico está escrito internamente en Go (Golang). Además de Go, utilizamos C++ y Java Script ES6 para el elemento web.
El 5% restante son los llamados “componentes pesados”, como las bases de datos. Estos incluyen RethinkDB, ArangoDB y Redis. Entre las tecnologías clave, también destacaré gRPC, un sistema de llamada a procedimientos remotos que se utiliza como un mecanismo único para la interacción a través de API; esta es una parte importante.
¿En qué consiste el producto?
Un sistema de correo electrónico corporativo no es un "servidor aislado". Nuestro producto incluye alrededor de 70 componentes y 45 servicios que mantienen el sistema de correo. Todos estos elementos están escritos “desde cero” y son desarrollo propio de MyOffice.
La parte más notable del sistema es el complejo de servidores, que proporciona sistemas de almacenamiento, correo, calendario y búsqueda, así como un cliente web. También estamos desarrollando varias aplicaciones de usuario y planeamos ofrecer a nuestros usuarios nuevos "clientes ligeros" basados en nuestras tecnologías de cliente web para el momento del lanzamiento comercial.
Compatibilidad con sistemas de correo
Mailion funciona utilizando protocolos estándar. Para comenzar a utilizar nuestra solución, sólo necesita configurar las aplicaciones cliente y continuar trabajando con ellas en su entorno habitual. Por ejemplo, puede utilizar la aplicación cliente incluida en el producto MyOffice Mail.
Además, para comodidad de nuestros usuarios, hemos creado un complemento especial que proporciona una transición perfecta desde Exchange. Con su ayuda, los usuarios podrán seguir trabajando con MS Outlook cuando reemplacen un servidor de correo; ni siquiera notarán que algo ha cambiado en su interacción habitual con las herramientas de comunicación. Este complemento le permite transferir usuarios sin problemas desde el sistema de correo anterior, sin detener el trabajo de toda la organización. Esto es especialmente importante si necesita reemplazar herramientas para atender a cientos de miles de usuarios.
Facilidad de administración
La peculiaridad de nuestro sistema de correo corporativo es que requiere muy poca participación de los administradores. Al diseñar, intentamos encontrar un equilibrio entre la posibilidad de personalización y la complejidad de la gestión. Para lograrlo, necesitábamos realizar mucha investigación sobre los patrones de comportamiento de los administradores de sistemas corporativos complejos.
Nuestro equipo está formado, como dije anteriormente, por especialistas altamente calificados; cada uno de ellos tiene una sólida experiencia en administración. Por ello, a la hora de desarrollar el sistema, intentamos trasladar su experiencia a las necesidades de los usuarios a la hora de gestionar un producto complejo. En otras palabras, conociendo los problemas potenciales, proporcionamos de manera proactiva formas de resolverlos a nivel de diseño arquitectónico.
Por ejemplo,
- Se proporciona aislamiento de los componentes del sistema en contenedores, incluidos los de infraestructura; esto nos ayuda a aumentar el nivel de seguridad, configurar de manera flexible el acceso entre componentes y también nos permite incluir rápidamente nuevos elementos requeridos por las empresas en la lista de sistemas y plataformas compatibles;
- un enfoque unificado para el desarrollo y la implementación, un formato de configuración único para todos los componentes contribuyen a una operación más clara y eficiente y reducen los costos de soporte;
- su propio instalador del sistema, basado en herramientas de implementación familiares, le permite gestionar la instalación de forma centralizada, flexible y clara;
la arquitectura de microservicios con una división clara de las responsabilidades de la lógica empresarial entre los servicios ayuda a comprender el esquema operativo del sistema y brindar soporte de manera más eficiente; - la parte de infraestructura del sistema se basa en soluciones familiares, utilizando las mejores prácticas y también permite la integración con los sistemas existentes en la empresa, lo que simplifica la puesta en servicio del sistema dentro de la empresa;
- Para ello, la instalación de almacenamiento contará con un sistema basado en inteligencia artificial, que será capaz de identificar de forma independiente posibles fallos y controlar los equipos.
Diseño moderno
Se necesitaron varios miles de horas de trabajo para crear el diseño del producto. La tarea de desarrollo fue hacer que la interfaz fuera moderna, fácil e intuitiva. Esto resulta difícil cuando se diseña un sistema empresarial, que de forma predeterminada debe incluir una serie de funciones específicas.
Por supuesto, el diseño no puede ser "tallado en piedra" ni aprobado con una firma y un sello: es una herramienta viva, en constante desarrollo y mejora. A lo largo de cuatro años transformamos el diseño varias veces, pero no hubo ningún cambio radical de ideología. El principio clave para construir una línea completa de productos corporativos es crear un sistema de diseño universal.
Al diseñar un sistema de correo electrónico corporativo, prestamos especial atención al desarrollo de tres áreas clave: adaptabilidad, coherencia y capacidad de adaptarse al estilo corporativo del cliente.
Adaptabilidad
Una característica especial del diseño de las interfaces del sistema de correo corporativo Mailion es la posibilidad de visualizarlo en dispositivos con pantallas de cualquier tamaño. Todos los componentes visuales están cuidadosamente renderizados, se escalan correctamente cuando se ejecutan en dispositivos móviles y son excelentes incluso para el control con los dedos en pantallas táctiles. Además, cuando cambia el tamaño de la ventana de la aplicación, el diseño de las columnas también se transforma: el tamaño de las columnas cambia proporcionalmente, en estricta conformidad con los postulados del concepto de aplicaciones ricas de Internet.
Consistencia
El diseño del sistema de correo electrónico corporativo Mailion se basa en un enfoque sistemático. Llevamos desarrollando esta área desde principios de 2017, cuando no estaba tan de moda hablar de sistemas de diseño como ahora. Un sistema de diseño es un conjunto de reglas y herramientas de ejecución visual y técnica que refleja la filosofía del producto y está en constante evolución. Lo introdujimos para simplificar la comunicación entre desarrollo y diseño.
Configurar una identidad corporativa
Nuestro diseño es un “camaleón”, capaz de adaptarse al estilo corporativo de cualquier cliente. Los colores de todos los elementos de la interfaz se definen mediante variables. Por lo tanto, al cambiar el conjunto básico de varios colores, puede cambiar el color de todas las aplicaciones a la vez.
Las fuentes también se definen mediante variables: la interfaz puede utilizar la fuente corporativa de la empresa cliente, si así lo prevé el libro de marcas del cliente. Al mismo tiempo, diferentes fuentes pueden tener diferentes tamaños de letra y esto lo tenemos en cuenta. Por ejemplo, PT Sans en tamaño 16 parece notablemente más pequeño que Roboto en el mismo tamaño 16. Por tanto, ajustamos el tamaño de los bloques de texto a las características de una fuente concreta.
Dedicaremos artículos separados a la estructura de nuestra biblioteca de colores y las características de trabajar con fuentes.
Aplicaciones móviles
Una parte integral de cualquier sistema de correo electrónico moderno son las aplicaciones móviles: los usuarios deberían poder trabajar desde cualquier lugar y en cualquier momento.
Ahora recién estamos formando el concepto de aplicaciones móviles corporativas; deberían tener en cuenta las diferencias en la funcionalidad de los sistemas de correo electrónico MyOffice y ofrecer diferentes enfoques para el uso de los sistemas de correo electrónico y calendario en las corporaciones.
Panel multimedia inteligente
Nuestros grupos focales demostraron que los usuarios encuentran engorrosas las interfaces de los sistemas de correo electrónico tradicionales. Los encuestados que entrevistamos señalaron que trabajar con eventos de calendario y archivos adjuntos era especialmente difícil. Intentamos lograr una interfaz receptiva y aumentar la productividad para que nuestro producto sea agradable de usar.
Media Panel, una nueva herramienta para acelerar la colaboración, organiza toda la información sobre la correspondencia y proporciona acceso instantáneo a una lista de participantes en la correspondencia, enlaces y versiones de documentos que alguna vez se han enviado.
Esta herramienta ayuda en situaciones en las que los usuarios tienen que trabajar con grandes pistas de cientos de mensajes. A menudo sucede que necesitas encontrar un documento o una imagen que se encontraba solo en uno de ellos. El panel multimedia crea una lista de todos los elementos de una cadena de correo electrónico y los muestra en un solo lugar. Como resultado, encontrar el objeto deseado resulta mucho más fácil.
Localización
No sólo los usuarios rusos necesitan un sistema de correo electrónico corporativo. MyOffice sigue una política constante de entrada a los mercados extranjeros, por lo que se presta mucha atención a las cuestiones de localización de productos.
En nuestro producto, la necesidad de localización a idiomas extranjeros se estableció inicialmente, a nivel de la parte básica del sistema. En sí mismo, agregar nuevos idiomas no es un gran problema para nosotros: es una tarea completamente comprensible que sabemos cómo resolver.
Actualmente, los idiomas ruso e inglés están disponibles para los usuarios. En las próximas versiones, agregaremos soporte al sistema de correo electrónico corporativo para los idiomas en los que funcionan los productos MyOffice: francés, español, portugués y otros. En cierto modo, es más fácil para nosotros que para los colegas de departamentos vecinos, ya que para los sistemas de correo y calendario solo debemos tener en cuenta el alfabeto y las características de trabajar con fechas y horas; afortunadamente, no tenemos fórmulas como en un editor de hojas de cálculo.
¡Sí, estamos contratando!
Se necesitaron varios cientos de años-hombre para crear nuestro producto. E incluso si quisiera, no podría contarte todo de una vez en un solo artículo. Sin embargo, espero que esta publicación sirva como punto de partida para conocer nuestro producto; como dije anteriormente, planeo hablar con más detalle en el futuro tanto sobre la solución en sí y sus características, como sobre nuestro desarrollo. enfoques.
Sin una sombra de modestia, diré también que hoy en día son pocas las empresas que desarrollan este tipo de sistemas de correo en todo el mundo. Esta es una tarea de ingeniería verdaderamente compleja; requiere un conocimiento profundo de las necesidades de los clientes corporativos y un análisis exhaustivo de los procesos comerciales de las grandes organizaciones, las tendencias modernas en diseño y desarrollo, así como un buen número de especialistas competentes. Nuestro sistema postal evoluciona cada día.
Ahora mismo estamos casi abiertos. vacantes en desarrollo. Ven a trabajar con nosotros si quieres trabajar con nosotros para crear un producto que pueda cambiar la forma en que el mundo empresarial piensa sobre el correo electrónico.
Fuente: habr.com
