En 1C, utilizamos amplamente os nosos propios desenvolvementos para organizar o traballo da empresa. En particular, . Ademais da xestión documental (como o propio nome indica), tamén é un moderno -sistema (Xestión de contidos empresariais - xestión de contidos corporativos) cunha ampla gama de funcionalidades: correo electrónico, calendarios de traballo dos empregados, organización do acceso compartido aos recursos (por exemplo, reserva de salas de reunións), seguimento do tempo, foro corporativo e moito máis.
Máis de mil empregados utilizan a xestión documental en 1C. A base de datos xa se fixo impresionante (11 millóns de rexistros), o que significa que require coidados máis coidadosos e equipos máis potentes.
Como funciona o noso sistema, que dificultades atopamos á hora de manter a base de datos e como as resolvemos (utilizamos MS SQL Server como DBMS) - diémoscho no artigo.
Para aqueles que están lendo sobre produtos 1C por primeira vez.
1C:Document Flow é unha solución de aplicación (configuración) implementada sobre a base dun marco para o desenvolvemento de aplicacións empresariais: a plataforma 1C:Enterprise.
"1C: Document Flow 8" (abreviado como DO) permítelle automatizar o traballo con documentos nunha empresa. Unha das principais ferramentas para a interacción dos empregados é o correo electrónico. Ademais do correo, DO tamén resolve outros problemas:
- Seguimento do tempo
- Seguimento de ausencias dos empregados
- Solicitudes de mensaxería/transporte
- Calendarios laborais dos empregados
- Rexistro de correspondencia
- Contactos dos empregados (libro de enderezos)
- Foro corporativo
- Reserva de habitación
- Planificación de eventos
- CRM
- Traballo colectivo con ficheiros (con gardando versións dos ficheiros)
- etc
Entramos en Xestión Documental (aplicación executable nativa) desde Windows, Linux, macOS, (desde navegadores) e - dependendo da situación.
E grazas ao noso outro produto conectado a Document Flow: - directamente en Document Flow recibimos a funcionalidade do messenger: chats, chamadas de audio e vídeo (incluídas chamadas de grupo, que agora se fan especialmente importantes, incluso desde un cliente móbil), intercambio rápido de ficheiros e a posibilidade de escribir bots de chat que simplifican traballando co sistema. Outra vantaxe de usar o sistema de interacción (en comparación con outros mensaxeiros) é a capacidade de levar a cabo discusións contextuais vinculadas a obxectos específicos do fluxo de documentos: documentos, eventos, etc. É dicir, o sistema de interacción está profundamente integrado coa aplicación de destino e non actúa só como un "botón separado".
O número de letras do noso DO xa superou os 100 millóns, e en xeral hai máis de 11 millóns de rexistros no DBMS. En total, o sistema utiliza case 30 TB de almacenamento: o volume da base de datos é de 7,5 TB, os ficheiros para o traballo colectivo almacénanse por separado e ocupan outros 21 TB.
Se falamos de números máis específicos, aquí tes o número de letras e ficheiros neste momento:
- Correos electrónicos saíntes: 14,7 millóns.
- Cartas entrantes: 85,4 millóns.
- Versións de ficheiros: 70,8 millóns.
- Documentos internos - 30,6 mil.
DO ten máis que correo e ficheiros. A continuación móstranse as cifras doutros obxectos contables:
- Reserva de salas de reunións – 52
- Informes semanais - 153
- Informes diarios - 628
- Visados de aprobación – 11
- Documentos recibidos – 79
- Documentos de saída – 28
- Entradas sobre eventos nos calendarios de traballo dos usuarios: 168
- Solicitudes de correos – 21
- Contrapartes – 81
- Rexistros de traballo con contrapartes – 45
- Persoas de contacto das contrapartes – 41
- Eventos – 10
- Proxectos – 6
- Tarefas dos empregados – 245
- Mensaxes do foro: 26
- Mensaxes de chat - 891 095
- Procesos empresariais - 109 056. A interacción entre empregados prodúcese a través de procesos - aprobación, execución, revisión, rexistro, sinatura, etc. Medimos a duración dos procesos, o número de ciclos, o número de participantes, o número de devolucións, o número de solicitudes de modificación de prazos. E esta información é moi útil para analizar para comprender que procesos están a ter lugar na empresa e aumentar a eficiencia da colaboración dos empregados.
En que equipos procesamos todo isto?
Estas cifras indican un volume de tarefas impresionante, polo que nos atopamos ante a necesidade de destinar equipamentos bastante produtivos para as necesidades das filiais internas. Actualmente, as súas características son as seguintes: 38 núcleos, 240 GB de RAM, 26 TB de discos. Aquí tes unha táboa de servidores:
No futuro, temos previsto aumentar a capacidade dos equipos.
Como van as cousas coa carga do servidor?
A actividade da rede nunca foi un problema para nós nin para os nosos clientes. Como regra xeral, o punto débil é o procesador e os discos, porque todos xa saben como xestionar a falta de memoria. Aquí tes capturas de pantalla dos nosos servidores de Resource Monitor, que demostran que non temos ningunha carga terrible, é moi modesta.
Por exemplo, na seguinte captura de pantalla vemos un servidor SQL onde a carga da CPU é do 23%. E este é un indicador moi bo (para comparación: se a carga se achega ao 70%, o máis probable é que os empregados observen desaceleracións bastante significativas no traballo).
A segunda captura de pantalla mostra o servidor de aplicacións no que se executa a plataforma 1C:Enterprise: só serve sesións de usuarios. Aquí a carga do procesador é lixeiramente maior - 38%, é suave e tranquilo. Hai algunha carga de disco, pero é aceptable.
A terceira captura de pantalla mostra outro servidor 1C:Enterprise (é o segundo, temos dous deles no clúster). Só a anterior atende aos usuarios, e neste traballan os robots. Por exemplo, reciben correo, envían documentos, intercambian datos, calculan dereitos, etc. Todas estas actividades de fondo realizan aproximadamente 90-100 traballos de fondo. E este servidor está moi cargado - 88%. Pero isto non afecta ás persoas e implementa exactamente toda a automatización que debería facer a Xestión de Documentos.
Cales son as métricas para medir o rendemento?
Temos un subsistema serio integrado nas nosas filiais para medir indicadores de rendemento e calcular varias métricas. Isto é necesario para comprender tanto no momento actual como dende unha perspectiva histórica o que está a pasar no sistema, o que empeora, o que está a mellorar. As ferramentas de seguimento - métricas e medidas de tempo - están incluídas na entrega estándar de "1C: Fluxo de documentos 8". As métricas requiren personalización durante a implementación, pero o propio mecanismo é estándar.
As métricas son medidas de varios indicadores comerciais en determinados momentos (por exemplo, o tempo medio de entrega do correo é de 10 minutos).
Unha das métricas mostra o número de usuarios activos na base de datos. De media, hai entre 1000 e 1400 durante o día. O gráfico mostra que no momento da captura de pantalla había 2144 usuarios activos na base de datos.
Hai máis de 30 accións deste tipo, a lista está baixo o recorte.lista
- Iniciar sesión
- Pechar sesión
- Cargando correo
- Modificación da validez dun obxecto
- Cambio de dereitos de acceso
- Cambio de tema dun proceso
- Cambiar o grupo de traballo dun obxecto
- Modificación da composición do kit
- Cambiando un ficheiro
- Importación de ficheiros
- Envío por correo
- Movendo ficheiros
- Redirección dunha tarefa
- Asinar a sinatura electrónica
- Busca por detalles
- Busca de texto completo
- Recibindo un ficheiro
- Interrupción dun proceso
- Ver
- Descifrado
- Rexistro de documentos
- Escanear
- Desmarcando a eliminación
- Creando un Obxecto
- Gardando no disco
- Inicio do proceso
- Eliminando entradas de rexistro de usuarios
- Eliminación dunha sinatura electrónica
- Establecer unha marca de eliminación
- Cifrado
- Exportar un cartafol
A semana anterior, a nosa actividade media dos usuarios aumentou unha vez e media (mostrada en vermello no gráfico), isto débese á transición da maioría dos empregados ao traballo remoto (debido a eventos coñecidos). Ademais, o número de usuarios activos aumentou 3 veces (mostrado en azul na captura de pantalla), xa que os empregados comezaron a usar activamente os teléfonos móbiles: cada cliente móbil crea unha conexión co servidor. Agora, de media, cada un dos nosos empregados ten 2 conexións co servidor.
Para nós, como administradores, este é un sinal de que debemos estar máis atentos aos problemas de rendemento e ver se as cousas empeoraron. Pero vemos isto en función doutros parámetros. Por exemplo, como cambia o tempo de entrega do correo para o enrutamento interno (mostrado en azul na captura de pantalla a continuación). Vemos que foi fluctuando ata este ano, pero agora é estable; para nós, isto é un indicador de que todo está en orde co sistema.
Outra métrica aplicada para nós é o tempo medio de espera para descargar cartas do servidor de correo (mostrado en vermello na captura de pantalla). En liñas xerais, canto tempo estará flotando a carta por Internet antes de que chegue ao noso empregado. A captura de pantalla mostra que esta hora tampouco cambiou de ningún xeito recentemente. Hai picos illados, pero non están asociados con atrasos, senón co feito de que se perde o tempo nos servidores de correo.
Ou, por exemplo, outra métrica (mostrada en azul na captura de pantalla): actualizar letras nun cartafol. Abrir un cartafol de correo é unha operación moi común e hai que facelo rapidamente. Medimos a rapidez con que se realiza. Este indicador mídese para cada cliente. Podes ver tanto a imaxe xeral da empresa como a dinámica, por exemplo, para un empregado individual. A captura de pantalla mostra que ata este ano a métrica estaba desequilibrada, despois fixemos unha serie de melloras e agora non está a empeorar: o gráfico é case plano.
As métricas son basicamente unha ferramenta de administrador para supervisar o sistema, para responder rapidamente a calquera cambio no comportamento do sistema. A captura de pantalla mostra as métricas subsidiarias internas para o ano. O salto nas gráficas débese a que nos encomendaron tarefas para desenvolver filiais internas.
Aquí tes unha lista dalgunhas métricas máis (baixo o corte).
Métricas
- Actividade do usuario
- Usuarios activos
- Procesos activos
- Número de ficheiros
- Tamaño do ficheiro (MB)
- Número de documentos
- Número de obxectos a enviar aos destinatarios
- Número de contrapartes
- Tarefas sen rematar
- Tempo medio de espera para descargar correos electrónicos do servidor de correo nos últimos 10 minutos
- Buffer de datos externos: número de ficheiros
- Borde atrasado desde a data actual
- Longa cola
- Fila operativa
- Antigüidade da conta bruta por enrutamento externo
- Tamaño da cola de aceptación do enrutamento interno (cola longa)
- Tamaño da cola de aceptación do enrutamento interno (cola rápida)
- Tempo de entrega do correo mediante enrutamento interno (longa cola)
- Tempo de entrega do correo mediante enrutamento interno (cola rápida)
- Tempo de entrega do correo mediante enrutamento externo (media)
- Número de documentos Reserva
- Número de documentos Ausencia
- Número de documentos "Rexistro de traballo coa contraparte"
- Correo Actualizar cartas nun cartafol
- Correo Apertura dunha tarxeta de carta
- Correo Transferir unha carta a un cartafol
- Correo Navega por cartafoles
O noso sistema mide máis de 150 indicadores durante todo o día, pero non todos poden ser supervisados rapidamente. Poden ser útiles máis tarde, nalgunha perspectiva histórica, e podes centrarte nos máis importantes para o negocio.
Nunha das implantacións, por exemplo, só se seleccionaron 5 indicadores. O cliente estableceu o obxectivo de crear un conxunto mínimo de indicadores, pero ao mesmo tempo de tal forma que cubra os principais escenarios de traballo. Sería inxustificado incluír 150 indicadores no certificado de aceptación, porque mesmo dentro da empresa é difícil poñerse de acordo sobre cales indicadores se consideran aceptables. E coñecían estes 5 indicadores e xa os presentaran ao sistema antes do inicio do proxecto de implantación, incluíndoos na documentación do concurso: tempo para abrir unha tarxeta non máis de 3 segundos, tempo para completar unha tarefa cun ficheiro non. máis de 5 segundos, etc. Nas nosas filiais tiñamos métricas que reflectían moi claramente a solicitude orixinal das especificacións técnicas do cliente.
Tamén temos unha análise de perfil das medicións de rendemento. Os indicadores de rendemento son un rexistro da duración de cada operación en curso (escribir unha carta á base de datos, enviar unha carta a un servidor de correo, etc.). Este é usado exclusivamente por técnicos. Acumulamos moitos indicadores de rendemento no noso programa. Actualmente medimos aproximadamente 1500 operacións clave, que se dividen en perfís.
Un dos perfís máis importantes para nós é a "Lista de indicadores clave do correo desde a perspectiva do consumidor". Este perfil inclúe, por exemplo, os seguintes indicadores:
- Executar o comando: Seleccione por etiqueta
- Apertura dun formulario: Formulario de lista
- Executar o comando: Seleccione por cartafol
- Mostrar unha carta na zona de lectura
- Gardando unha carta no teu cartafol favorito
- Busca letras por detalles
- Creando unha carta
Se vemos que a métrica dalgún indicador empresarial se fixo demasiado grande (por exemplo, as cartas dun usuario en particular comezaron a chegar durante moito tempo), comezamos a descifralo e pasaremos a medir o tempo das operacións técnicas. Temos unha operación técnica "Arquivar cartas nun servidor de correo" - vemos que o tempo para esta operación superouse no último período. Esta operación, á súa vez, descomponse noutras operacións, por exemplo, establecer unha conexión cun servidor de correo. Vemos que por algún motivo volveuse moi grande de súpeto (temos todas as medidas durante un mes; podemos comparar que a semana pasada foron 10 milisegundos, e agora son 1000 milisegundos). E entendemos que algo está roto aquí: hai que solucionalo.
Como facemos para manter unha base de datos tan grande?
O noso DO interno é un exemplo dun proxecto de alta carga que realmente funciona. Imos falar das características técnicas da súa base de datos.
Canto tempo leva reestruturar grandes táboas de bases de datos?
O servidor SQL require un mantemento periódico, poñendo en orde as táboas. En boa forma, isto debería facerse polo menos unha vez ao día, e aínda máis a miúdo para mesas de alta demanda. Pero se a base de datos é grande (e o noso número de rexistros xa superou os 11 millóns), entón coidalo non é fácil.
Fixemos unha reestruturación da mesa hai 6 anos, pero entón comezou a levar tanto tempo que xa non encaixamos nos intervalos nocturnos. E dado que estas operacións cargan moito o servidor SQL, non pode servir de forma eficiente a outros usuarios.
Polo tanto, agora temos que usar varios trucos. Por exemplo, non podemos realizar estes procedementos en conxuntos de datos completos. Ten que recorrer ao procedemento de actualización da mostra de 500000 filas, que leva 14 minutos. Non actualiza as estatísticas de todos os datos da táboa, pero selecciona medio millón de filas e utilízaas para calcular as estatísticas que utiliza para toda a táboa. Esta é unha suposición, pero estamos obrigados a facelo, porque para unha táboa específica, recoller estatísticas sobre os mil millóns de rexistros levará un tempo inaceptablemente longo.
Tamén optimizamos outras operacións de mantemento facéndoas parciais.
Manter un DBMS é xeralmente unha tarefa difícil. No caso de interacción activa entre os empregados, a base de datos crece rapidamente, e cada vez é máis difícil para os administradores mantela: actualizacións estatísticas, desfragmentación, indexación. Aquí hai que aplicar diferentes estratexias, sabemos ben como facelo, temos experiencia, podemos compartila.
Como se implementa a copia de seguridade con tales volumes?
Unha copia de seguridade completa do DBMS realízase unha vez ao día pola noite, unha incremental, cada hora. Ademais, cada día créase un directorio de ficheiros e é unha parte da copia de seguridade incremental do almacenamento de ficheiros.
Canto tempo leva completar unha copia de seguridade completa?
Unha copia de seguridade completa dun disco duro complétase en tres horas, unha copia de seguridade parcial nunha hora. Tarda máis tempo en escribir na cinta (un dispositivo especial que fai unha copia de seguridade nun casete especial almacenado fóra da oficina; realízase unha copia transferible á cinta, que se conservará se, por exemplo, a sala do servidor se queima). A copia de seguridade realízase exactamente no mesmo servidor, cuxos parámetros eran maiores: un servidor SQL cunha carga do procesador do 20%. No momento da copia de seguridade, por suposto, o sistema empeora moito, pero aínda é funcional.
Hai deduplicación?
Hai ficheiros, probarémolo nós mesmos e en breve incluirase na nova versión de Xestión de documentos. Tamén estamos probando o mecanismo de deduplicación da contraparte. Non hai deduplicación de rexistros a nivel de DBMS, xa que non é necesario. A plataforma 1C:Enterprise almacena obxectos no DBMS, e só a plataforma pode ser responsable da súa coherencia.
Hai nós de só lectura?
Non hai nodos de lectura (nodos de sistema dedicados que serven a aqueles que precisan recibir algún dato para a súa lectura). DO non é un sistema de contabilidade para poñer nun nodo de BI separado, pero hai un nodo separado para o departamento de desenvolvemento, co que se intercambian mensaxes en formato JSON, e o tempo de replicación típico é de unidades e decenas de segundos. O nodo aínda é pequeno, ten uns 800 millóns de rexistros, pero está crecendo rapidamente.
Os correos electrónicos marcados para a súa eliminación non se eliminan en absoluto?
Aínda non. Non temos a tarefa de facer a base máis lixeira. Houbo varios casos bastante graves nos que foi necesario referirse a letras marcadas para a súa eliminación, incluído 2009. Por iso decidimos conservar todo polo momento. Pero cando o custo disto sexa inxustificado, pensaremos na eliminación. Pero, se precisa eliminar completamente unha carta separada da base de datos para que non queden rastros, pódese facer mediante unha solicitude especial.
Por que almacenalo? Tes estatísticas sobre o acceso a documentos antigos?
Non hai estatísticas. Máis precisamente, está en forma de rexistro de usuario, pero non se almacena por moito tempo. As entradas de máis dun ano bórranse do protocolo.
Houbo situacións nas que foi necesario recuperar correspondencia antiga de hai cinco ou mesmo dez anos. E isto sempre se fixo non por curiosidade ociosa, senón para tomar decisións empresariais complexas. Houbo un caso no que, sen historial de correspondencia, teríase tomado unha decisión comercial incorrecta.
Como se avalía e destrúe o valor dos documentos segundo os períodos de almacenamento?
Para os documentos en papel isto faise do xeito tradicional habitual, como todos os demais. Non o facemos para os electrónicos, deixalos que os garde para eles. A sentada está aquí. Hai beneficios. Todo o mundo está ben.
Que perspectivas de desenvolvemento hai?
Agora o noso DO resolve uns 30 problemas internos, algúns dos cales enumeramos ao comezo do artigo. O DL tamén se usa para preparar conferencias que celebramos dúas veces ao ano para os nosos socios: todo o programa, todos os informes, todas as seccións paralelas, salas; todo isto escríbese no DL, e despois descárgase del e un programa impreso. está feito.
Hai varias tarefas máis en camiño para a DO, ademais das que xa está a resolver. Hai tarefas para toda a empresa, e hai outras únicas e raras, que só precisa un departamento específico. É necesario axudalos, o que significa ampliar a "xeografía" de usar o sistema dentro de 1C - ampliar o ámbito de aplicación, resolvendo os problemas de todos os departamentos. Esta sería a mellor proba de rendemento e fiabilidade. Gustaríame ver o sistema funcionar en billóns de rexistros, petabytes de información.
Fonte: www.habr.com