Bei 1C nutzen wir in großem Umfang unsere eigenen Entwicklungen, um die Arbeit des Unternehmens zu organisieren. Insbesondere, . Neben der Dokumentenverwaltung (wie der Name schon sagt) handelt es sich auch um eine moderne Lösung -System (Enterprise Content Management – Corporate Content Management) mit einem breiten Funktionsumfang – E-Mail, Arbeitskalender der Mitarbeiter, Organisation des gemeinsamen Zugriffs auf Ressourcen (z. B. Buchung von Besprechungsräumen), Zeiterfassung, Unternehmensforum und vieles mehr.
Mehr als tausend Mitarbeiter nutzen Dokumentenmanagement bei 1C. Die Datenbank ist bereits beeindruckend geworden (11 Milliarden Datensätze), was eine sorgfältigere Pflege und eine leistungsfähigere Ausrüstung erfordert.
Wie unser System funktioniert, auf welche Schwierigkeiten wir bei der Pflege der Datenbank stoßen und wie wir diese lösen (wir nutzen MS SQL Server als DBMS) – das verraten wir Ihnen im Artikel.
Für diejenigen, die zum ersten Mal über 1C-Produkte lesen.
1C:Document Flow ist eine Anwendungslösung (Konfiguration), die auf Basis eines Frameworks zur Entwicklung von Geschäftsanwendungen – der 1C:Enterprise-Plattform – implementiert wird.
Mit „1C: Document Flow 8“ (abgekürzt DO) können Sie die Arbeit mit Dokumenten in einem Unternehmen automatisieren. Eines der wichtigsten Tools für die Mitarbeiterinteraktion ist E-Mail. Neben der Post löst DO auch andere Probleme:
- Zeiterfassung
- Nachverfolgung der Abwesenheit von Mitarbeitern
- Bewerbungen für Kuriere/Transporte
- Arbeitskalender der Mitarbeiter
- Registrierung der Korrespondenz
- Mitarbeiterkontakte (Adressbuch)
- Unternehmensforum
- Zimmerreservierung
- Eventplanung
- CRM
- Kollektives Arbeiten mit Dateien (mit Speichern von Dateiversionen)
- usw.
Wir betreten das Dokumentenmanagement (native ausführbare Anwendung) von Windows, Linux, macOS, (von Browsern) und - kommt auf die Situation an.
Und dank unseres anderen mit Document Flow verbundenen Produkts - – Wir erhalten direkt in Document Flow die Funktionalität des Messengers – Chats, Audio- und Videoanrufe (einschließlich Gruppenanrufe, die jetzt besonders wichtig geworden sind, auch von einem mobilen Client), schneller Dateiaustausch sowie die Möglichkeit, Chat-Bots zu schreiben, die dies vereinfachen mit dem System arbeiten. Ein weiterer Vorteil der Verwendung des Interaktionssystems (im Vergleich zu anderen Messengern) ist die Möglichkeit, kontextbezogene Diskussionen zu führen, die an bestimmte Dokumentflussobjekte gebunden sind – Dokumente, Ereignisse usw. Das heißt, das Interaktionssystem ist tief in die Zielanwendung integriert und fungiert nicht nur als „separate Schaltfläche“.
Die Anzahl der Briefe in unserem DO hat bereits 100 Millionen überschritten, und im Allgemeinen gibt es mehr als 11 Milliarden Datensätze im DBMS. Insgesamt belegt das System knapp 30 TB Speicher: Das Datenbankvolumen beträgt 7,5 TB, Dateien für die Sammelarbeit werden separat gespeichert und belegen weitere 21 TB.
Wenn wir über konkretere Zahlen sprechen, hier ist die Anzahl der Briefe und Dateien im Moment:
- Ausgehende E-Mails – 14,7 Millionen.
- Eingehende Briefe – 85,4 Millionen.
- Dateiversionen – 70,8 Millionen.
- Interne Dokumente – 30,6 Tausend.
DO bietet mehr als nur E-Mails und Dateien. Nachfolgend finden Sie die Zahlen für andere Buchhaltungsobjekte:
- Buchung von Tagungsräumen – 52
- Wöchentliche Berichte – 153
- Tägliche Berichte – 628
- Genehmigungsvisa – 11
- Eingehende Dokumente – 79
- Ausgehende Dokumente – 28
- Einträge zu Ereignissen in Benutzerarbeitskalendern – 168
- Bewerbungen für Kuriere – 21
- Gegenparteien – 81
- Aufzeichnungen über die Arbeit mit Gegenparteien – 45
- Ansprechpartner der Gegenparteien – 41
- Ereignisse – 10
- Projekte – 6
- Mitarbeiteraufgaben – 245
- Forumbeiträge – 26
- Chat-Nachrichten – 891 095
- Geschäftsprozesse – 109. Die Interaktion zwischen Mitarbeitern erfolgt durch Prozesse – Genehmigung, Ausführung, Überprüfung, Registrierung, Unterzeichnung usw. Wir messen die Dauer von Prozessen, die Anzahl der Zyklen, die Anzahl der Teilnehmer, die Anzahl der Retouren, die Anzahl der Anfragen zur Terminänderung. Und die Analyse dieser Informationen ist sehr nützlich, um zu verstehen, welche Prozesse im Unternehmen ablaufen, und um die Effizienz der Zusammenarbeit der Mitarbeiter zu steigern.
Auf welchen Geräten verarbeiten wir das alles?
Diese Zahlen deuten auf ein beeindruckendes Aufgabenvolumen hin, sodass wir vor der Notwendigkeit standen, relativ produktive Ausrüstung für die Bedürfnisse interner Tochtergesellschaften bereitzustellen. Derzeit sind seine Eigenschaften wie folgt: 38 Kerne, 240 GB RAM, 26 TB Festplatten. Hier ist eine Servertabelle:
In Zukunft planen wir, die Kapazität der Ausrüstung zu erhöhen.
Wie läuft es mit der Serverauslastung?
Die Netzwerkaktivität war für uns oder unsere Kunden nie ein Problem. Die Schwachstelle liegt in der Regel beim Prozessor und bei den Festplatten, denn mit Speichermangel weiß jeder bereits umzugehen. Hier sind Screenshots unserer Server von Resource Monitor, die zeigen, dass wir keine schreckliche Auslastung haben, sie ist sehr bescheiden.
Im folgenden Screenshot sehen wir beispielsweise einen SQL-Server, bei dem die CPU-Auslastung 23 % beträgt. Und das ist ein sehr guter Indikator (zum Vergleich: Nähert sich die Auslastung 70 %, dann werden die Mitarbeiter höchstwahrscheinlich deutliche Arbeitsverlangsamungen beobachten).
Der zweite Screenshot zeigt den Anwendungsserver, auf dem die 1C:Enterprise-Plattform läuft – er bedient nur Benutzersitzungen. Hier ist die Prozessorauslastung etwas höher - 38 %, es läuft flüssig und ruhig. Es kommt zu einer gewissen Belastung der Festplatte, aber das ist akzeptabel.
Der dritte Screenshot zeigt einen weiteren 1C:Enterprise-Server (es ist der zweite, wir haben zwei davon im Cluster). Nur der vorherige bedient Benutzer, und an diesem arbeiten Roboter. Sie empfangen beispielsweise Post, leiten Dokumente weiter, tauschen Daten aus, berechnen Rechte usw. Alle diese Hintergrundaktivitäten führen etwa 90–100 Hintergrundjobs aus. Und dieser Server ist sehr stark ausgelastet – 88 %. Dies hat jedoch keine Auswirkungen auf den Menschen und implementiert genau die gesamte Automatisierung, die das Dokumentenmanagement leisten sollte.
Welche Kennzahlen gibt es zur Messung der Leistung?
Wir haben in unseren Tochtergesellschaften ein umfangreiches Subsystem zur Messung von Leistungsindikatoren und zur Berechnung verschiedener Kennzahlen eingebaut. Dies ist notwendig, um sowohl zum aktuellen Zeitpunkt als auch aus historischer Perspektive zu verstehen, was im System passiert, was schlechter wird, was besser wird. Überwachungstools – Metriken und Zeitmessungen – sind im Standardlieferumfang von „1C: Document Flow 8“ enthalten. Die Metriken müssen während der Implementierung angepasst werden, der Mechanismus selbst ist jedoch Standard.
Metriken sind Messungen verschiedener Geschäftsindikatoren zu bestimmten Zeitpunkten (z. B. beträgt die durchschnittliche E-Mail-Zustellungszeit 10 Minuten).
Eine der Metriken zeigt die Anzahl der aktiven Benutzer in der Datenbank. Im Durchschnitt gibt es tagsüber 1000-1400 von ihnen. Die Grafik zeigt, dass sich zum Zeitpunkt des Screenshots 2144 aktive Benutzer in der Datenbank befanden.
Es gibt mehr als 30 solcher Aktionen, die Liste ist unter dem Strich.Liste
- Einloggen
- Austragen
- E-Mail wird geladen
- Ändern der Gültigkeit eines Objekts
- Zugriffsrechte ändern
- Das Thema eines Prozesses ändern
- Arbeitsgruppe eines Objekts ändern
- Ändern der Zusammensetzung des Kits
- Eine Datei ändern
- Dateiimport
- Versand per Post
- Verschieben von Dateien
- Eine Aufgabe umleiten
- Unterzeichnung der elektronischen Signatur
- Suche nach Details
- Volltextsuche
- Empfangen einer Datei
- Einen Prozess unterbrechen
- Просмотр
- Entschlüsselung
- Dokumentenregistrierung
- Scannen
- Löschmarkierung aufheben
- Ein Objekt erstellen
- Speichern auf Datenträger
- Beginn des Prozesses
- Benutzerprotokolleinträge löschen
- Entfernen einer elektronischen Signatur
- Setzen einer Löschmarkierung
- Verschlüsselung
- Exportieren Sie einen Ordner
In der vorletzten Woche ist unsere durchschnittliche Benutzeraktivität um das Eineinhalbfache gestiegen (in der Grafik rot dargestellt) – dies ist auf die Umstellung der meisten Mitarbeiter auf Remote-Arbeit zurückzuführen (aufgrund bekannter Ereignisse). Außerdem stieg die Anzahl der aktiven Benutzer um das Dreifache (im Screenshot blau dargestellt), da die Mitarbeiter begannen, Mobiltelefone aktiv zu nutzen: Jeder mobile Client stellt eine Verbindung zum Server her. Mittlerweile hat jeder unserer Mitarbeiter durchschnittlich 3 Verbindungen zum Server.
Für uns als Administratoren ist dies ein Signal, dass wir auf Leistungsprobleme aufmerksamer achten und prüfen müssen, ob sich die Lage verschlechtert hat. Aber wir betrachten dies anhand anderer Parameter. Zum Beispiel, wie sich die E-Mail-Zustellzeit für das interne Routing ändert (im Screenshot unten blau dargestellt). Wir sehen, dass es bis zu diesem Jahr schwankte, aber jetzt ist es stabil – für uns ist das ein Indikator dafür, dass mit dem System alles in Ordnung ist.
Eine weitere für uns verwendete Messgröße ist die durchschnittliche Wartezeit für das Herunterladen von Briefen vom Mailserver (im Screenshot rot dargestellt). Grob gesagt, wie lange wird der Brief im Internet herumschwirren, bis er unseren Mitarbeiter erreicht? Der Screenshot zeigt, dass sich auch an dieser Zeit in letzter Zeit nichts geändert hat. Vereinzelt kommt es zu Ausschlägen – diese sind aber nicht mit Verzögerungen verbunden, sondern damit, dass die Zeit auf den Mailservern verloren geht.
Oder zum Beispiel eine andere Metrik (im Screenshot blau dargestellt) – das Aktualisieren von Buchstaben in einem Ordner. Das Öffnen eines E-Mail-Ordners ist ein sehr häufiger Vorgang und muss schnell erledigt werden. Wir messen, wie schnell es durchgeführt wird. Dieser Indikator wird für jeden Kunden gemessen. Sie sehen sowohl das Gesamtbild des Unternehmens als auch die Dynamik beispielsweise für einen einzelnen Mitarbeiter. Der Screenshot zeigt, dass die Metrik bis zu diesem Jahr unausgeglichen war, dann haben wir eine Reihe von Verbesserungen vorgenommen und jetzt wird es nicht schlechter – die Grafik ist fast flach.
Metriken sind im Grunde ein Administratortool zur Überwachung des Systems, um schnell auf Änderungen im Systemverhalten zu reagieren. Der Screenshot zeigt die internen Kennzahlen der Tochtergesellschaften für das Jahr. Der Sprung in den Grafiken ist darauf zurückzuführen, dass wir mit der Entwicklung interner Tochtergesellschaften beauftragt wurden.
Hier ist eine Liste einiger weiterer Metriken (unter dem Schnitt).
Metriken
- Benutzeraktivität
- Aktive Benutzer
- Aktive Prozesse
- Anzahl der Dateien
- Dateigröße (MB)
- Anzahl der Dokumente
- Anzahl der Objekte, die an Empfänger gesendet werden sollen
- Anzahl der Kontrahenten
- Unerledigte Aufgaben
- Durchschnittliche Wartezeit für das Herunterladen von E-Mails vom Mailserver in den letzten 10 Minuten
- Externer Datenpuffer: Anzahl der Dateien
- Nachlaufender Rand vom aktuellen Datum
- Lange Schlange
- Betriebswarteschlange
- Rohes Kontoalter nach externer Weiterleitung
- Größe der internen Routing-Akzeptanzwarteschlange (lange Warteschlange)
- Größe der internen Routing-Akzeptanzwarteschlange (schnelle Warteschlange)
- Postzustellzeit über internes Routing (lange Warteschlange)
- Postzustellzeit über internes Routing (Fast Queue)
- Postzustellzeit über externes Routing (Durchschnitt)
- Anzahl der Dokumente Reservierung
- Anzahl der Dokumente Abwesenheit
- Anzahl der Dokumente „Aufzeichnung der Zusammenarbeit mit der Gegenpartei“
- E-Mail-Aktualisierungsbriefe in einem Ordner
- Mail Öffnen einer Briefkarte
- Mail Übertragen Sie einen Brief in einen Ordner
- Mail Navigieren Sie durch Ordner
Unser System misst rund um die Uhr mehr als 150 Indikatoren, doch nicht alle können schnell überwacht werden. Aus historischer Sicht können sie sich später als nützlich erweisen, und Sie können sich auf die wichtigsten für das Unternehmen konzentrieren.
In einer der Implementierungen wurden beispielsweise nur 5 Indikatoren ausgewählt. Der Kunde hat sich zum Ziel gesetzt, einen Mindestsatz an Indikatoren zu erstellen, der aber gleichzeitig die wichtigsten Arbeitsszenarien abdeckt. Es wäre ungerechtfertigt, 150 Indikatoren in die Abnahmebescheinigung aufzunehmen, da es auch innerhalb des Unternehmens schwierig ist, sich darauf zu einigen, welche Indikatoren als akzeptabel gelten. Und sie kannten diese 5 Indikatoren und hatten sie bereits vor Beginn des Implementierungsprojekts dem System vorgelegt und in die Wettbewerbsdokumentation aufgenommen: Zeit zum Öffnen einer Karte nicht länger als 3 Sekunden, Zeit zum Erledigen einer Aufgabe mit einer Datei-Nr mehr als 5 Sekunden usw. In unseren Tochtergesellschaften hatten wir Kennzahlen, die die ursprüngliche Anforderung aus den technischen Spezifikationen des Kunden sehr deutlich widerspiegelten.
Wir verfügen auch über eine Profilanalyse von Leistungsmessungen. Leistungsindikatoren sind eine Aufzeichnung der Dauer jedes laufenden Vorgangs (Schreiben eines Briefes an die Datenbank, Senden eines Briefes an einen Mailserver usw.). Diese wird ausschließlich von Technikern genutzt. Wir sammeln in unserem Programm viele Leistungsindikatoren. Wir messen derzeit etwa 1500 Schlüsseloperationen, die in Profile unterteilt sind.
Eines der für uns wichtigsten Profile ist die „Liste der wichtigsten Postindikatoren aus Verbrauchersicht“. Dieses Profil umfasst beispielsweise folgende Indikatoren:
- Ausführen des Befehls: Nach Tag auswählen
- Öffnen eines Formulars: Listenformular
- Ausführen des Befehls: Nach Ordner auswählen
- Anzeige eines Buchstabens im Lesebereich
- Speichern Sie einen Brief in Ihrem Lieblingsordner
- Suchen Sie nach Buchstaben anhand von Details
- Einen Brief erstellen
Wenn wir feststellen, dass die Metrik für einen Geschäftsindikator zu groß geworden ist (z. B. Briefe eines bestimmten Benutzers kommen schon seit sehr langer Zeit an), beginnen wir damit, dies herauszufinden und wenden uns der Messung der Zeit technischer Vorgänge zu. Wir haben einen technischen Vorgang „Archivieren von Briefen auf einem Mailserver“ – wir sehen, dass die Zeit für diesen Vorgang im letzten Zeitraum überschritten wurde. Dieser Vorgang wird wiederum in andere Vorgänge zerlegt – beispielsweise den Verbindungsaufbau mit einem Mailserver. Wir sehen, dass es aus irgendeinem Grund plötzlich sehr groß geworden ist (wir haben alle Messungen eines Monats – wir können vergleichen, dass es letzte Woche 10 Millisekunden waren und jetzt 1000 Millisekunden). Und wir verstehen, dass hier etwas kaputt ist – wir müssen es reparieren.
Wie pflegen wir eine so große Datenbank?
Unser internes DO ist ein Beispiel für ein wirklich funktionierendes Hochlastprojekt. Lassen Sie uns über die technischen Merkmale seiner Datenbank sprechen.
Wie lange dauert die Umstrukturierung großer Datenbanktabellen?
Der SQL-Server erfordert regelmäßige Wartung, um die Tabellen in Ordnung zu bringen. Im Idealfall sollte dies mindestens einmal am Tag erfolgen, bei Tischen mit hoher Nachfrage sogar noch öfter. Wenn die Datenbank jedoch groß ist (und die Anzahl unserer Datensätze bereits 11 Milliarden überschritten hat), ist die Pflege nicht einfach.
Wir haben vor 6 Jahren eine Tischumstrukturierung durchgeführt, aber dann hat es so viel Zeit in Anspruch genommen, dass wir nicht mehr in die nächtlichen Intervalle gepasst haben. Und da diese Vorgänge den SQL-Server stark belasten, kann er andere Benutzer nicht effizient bedienen.
Deshalb müssen wir jetzt verschiedene Tricks anwenden. Beispielsweise können wir diese Verfahren nicht für vollständige Datensätze durchführen. Sie müssen auf das Verfahren „Beispiel 500000 Zeilen aktualisieren“ zurückgreifen – das dauert 14 Minuten. Es aktualisiert nicht die Statistiken aller Daten in der Tabelle, sondern wählt eine halbe Million Zeilen aus und berechnet daraus Statistiken, die für die gesamte Tabelle verwendet werden. Dies ist eine Annahme, aber wir sind gezwungen, sie anzunehmen, da das Sammeln von Statistiken über die gesamte Milliarde Datensätze für eine bestimmte Tabelle unannehmbar lange dauern wird.
Wir haben auch andere Wartungsvorgänge optimiert, indem wir sie teilweise durchgeführt haben.
Die Wartung eines DBMS ist im Allgemeinen eine schwierige Aufgabe. Bei aktiver Interaktion zwischen Mitarbeitern wächst die Datenbank schnell und es wird für Administratoren immer schwieriger, sie zu pflegen – Statistiken aktualisieren, Defragmentierung, Indizierung. Hier müssen wir unterschiedliche Strategien anwenden, wir wissen gut, wie das geht, wir haben Erfahrung, wir können sie teilen.
Wie wird die Sicherung bei solchen Volumes umgesetzt?
Eine vollständige DBMS-Sicherung wird einmal am Tag in der Nacht durchgeführt, eine inkrementelle Sicherung – jede Stunde. Außerdem wird täglich ein Dateiverzeichnis erstellt, das Teil der inkrementellen Sicherung des Dateispeichers ist.
Wie lange dauert es, ein vollständiges Backup abzuschließen?
Eine vollständige Sicherung auf eine Festplatte ist in drei Stunden abgeschlossen, eine Teilsicherung in einer Stunde. Das Schreiben auf Band dauert länger (ein spezielles Gerät, das eine Sicherungskopie auf eine spezielle Kassette erstellt, die außerhalb des Büros aufbewahrt wird; auf das Band wird eine übertragbare Kopie erstellt, die erhalten bleibt, wenn beispielsweise der Serverraum abbrennt). Die Sicherung erfolgt auf genau demselben Server, dessen Parameter höher waren – einem SQL-Server mit 20 % Prozessorlast. Zum Zeitpunkt des Backups ist das System natürlich deutlich schlechter, aber es ist immer noch funktionsfähig.
Gibt es eine Deduplizierung?
Es gibt Dateien, wir werden es selbst testen und bald wird es in der neuen Version von Document Management enthalten sein. Wir testen auch den Kontrahenten-Deduplizierungsmechanismus. Auf DBMS-Ebene findet keine Deduplizierung von Datensätzen statt, da diese nicht erforderlich ist. Die 1C:Enterprise-Plattform speichert Objekte im DBMS und nur die Plattform kann für deren Konsistenz verantwortlich sein.
Gibt es schreibgeschützte Knoten?
Es gibt keine Leseknoten (dedizierte Systemknoten, die denjenigen dienen, die Daten zum Lesen erhalten müssen). DO ist kein Buchhaltungssystem, das auf einem separaten BI-Knoten platziert werden muss, aber es gibt einen separaten Knoten für die Entwicklungsabteilung, mit dem Nachrichten im JSON-Format ausgetauscht werden, und die typische Replikationszeit beträgt Einheiten und zehn Sekunden. Der Knoten ist noch klein, er hat etwa 800 Millionen Datensätze, aber er wächst schnell.
Werden E-Mails, die zum Löschen markiert sind, überhaupt nicht gelöscht?
Noch nicht. Wir haben nicht die Aufgabe, die Basis leichter zu machen. Es gab mehrere recht schwerwiegende Fälle, in denen auf zur Löschung markierte Briefe verwiesen werden musste, darunter auch 2009. Deshalb haben wir uns entschieden, alles vorerst aufzubewahren. Aber wenn die Kosten dafür nicht mehr gerechtfertigt sind, werden wir über eine Entfernung nachdenken. Wenn Sie jedoch einen einzelnen Brief vollständig aus der Datenbank entfernen müssen, damit keine Spuren zurückbleiben, kann dies auf besonderen Wunsch erfolgen.
Warum aufbewahren? Verfügen Sie über Statistiken zum Zugriff auf alte Dokumente?
Es gibt keine Statistiken. Genauer gesagt handelt es sich um ein Benutzerprotokoll, das jedoch nicht lange gespeichert wird. Einträge, die älter als ein Jahr sind, werden aus dem Protokoll gelöscht.
Es gab Situationen, in denen es notwendig war, alte Korrespondenz von vor fünf oder sogar zehn Jahren abzurufen. Und dies geschah stets nicht aus reiner Neugier, sondern um komplexe Geschäftsentscheidungen zu treffen. Es gab einen Fall, in dem ohne Korrespondenzhistorie eine falsche Geschäftsentscheidung getroffen worden wäre.
Wie wird der Wert von Dokumenten nach Aufbewahrungsfristen ermittelt und vernichtet?
Bei Papierdokumenten geschieht dies wie bei allen anderen auf die übliche traditionelle Weise. Für elektronische Geräte machen wir das nicht – sie sollen sie für sich behalten. Der Sitzplatz ist da. Es gibt Vorteile. Allen geht es gut.
Welche Entwicklungsperspektiven gibt es?
Mittlerweile löst unser DO etwa 30 interne Probleme, von denen wir einige am Anfang des Artikels aufgeführt haben. Der DL dient auch der Vorbereitung von Konferenzen, die wir zweimal im Jahr für unsere Partner durchführen: Das gesamte Programm, alle Berichte, alle Parallelsektionen, Säle – all das wird in den DL getippt, von dort heruntergeladen und ein gedrucktes Programm erstellt wird gemacht.
Zusätzlich zu den Aufgaben, die das DO bereits löst, stehen dem DO noch einige weitere Aufgaben bevor. Es gibt unternehmensweite Aufgaben und es gibt einzigartige und seltene Aufgaben, die nur von einer bestimmten Abteilung benötigt werden. Es ist notwendig, ihnen zu helfen, was bedeutet, die „Geographie“ der Nutzung des Systems innerhalb von 1C zu erweitern – den Anwendungsbereich zu erweitern und die Probleme aller Abteilungen zu lösen. Dies wäre der beste Test für Leistung und Zuverlässigkeit. Ich würde mir wünschen, dass das System Billionen von Datensätzen und Petabytes an Informationen verarbeitet.
Source: habr.com