Bei 1C benotze mir vill eis eegen Entwécklungen fir d'Aarbecht vun der Firma ze organiséieren. Besonnesch, . Zousätzlech zu Dokumentmanagement (wéi den Numm et scho seet), ass et och e modernen -System (Enterprise Content Management - Corporate Content Management) mat enger breet Palette vu Funktionalitéit - Mail, Employé Aarbecht Kalenneren, organiséieren gedeelt Zougang zu Ressourcen (zum Beispill, Buchung Reuniounssäll), Zäit Tracking, Corporate Forum a vill méi.
Méi wéi dausend Mataarbechter benotzen Dokumentmanagement bei 1C. D'Datebank ass scho beandrockend ginn (11 Milliarden records), dat heescht datt et méi virsiichteg Betreiung a méi mächteg Ausrüstung erfuerdert.
Wéi eise System funktionnéiert, wéi eng Schwieregkeete mir begéinen beim Erhalen vun der Datebank a wéi mir se léisen (mir benotzen MS SQL Server als DBMS) - mir soen Iech am Artikel.
Fir déi, déi iwwer 1C Produkter fir d'éischte Kéier liesen.
1C:Document Flow ass eng Applikatiounsléisung (Konfiguratioun) implementéiert op Basis vun engem Kader fir Geschäftsapplikatiounen z'entwéckelen - d'1C:Enterprise Plattform.
"1C: Document Flow 8" (ofgekierzt als DO) erlaabt Iech d'Aarbecht mat Dokumenter an enger Entreprise ze automatiséieren. Ee vun den Haaptinstrumenter fir Mataarbechterinteraktioun ass E-Mail. Nieft der Mail léist DO och aner Problemer:
- Zäit Tracking
- Employé Absence Tracking
- Uwendungen fir Courrier / Transport
- Employé Aarbecht Kalenneren
- Aschreiwung vun Korrespondenz
- Employé Kontakter (Adressbuch)
- Firmenforum
- Sall Reservatioun
- Event Planung
- CRM
- Kollektiv Aarbecht mat Dateien (mat Dateieversioune späicheren)
- an anerer.
Mir ginn Dokument Management (gebierteg ausführbar Applikatioun) vu Windows, Linux, macOS, (vu Browser) an - jee no der Situatioun.
An dank eisem anere Produkt verbonne mam Document Flow - - Mir direkt am Document Flow kréien d'Funktionalitéit vum Messenger - Chats, Audio- a Video-Uriff (inklusiv Gruppenriff, déi elo besonnesch wichteg ginn ass, och vun engem mobilen Client), séier Dateiaustausch plus d'Fäegkeet Chat Bots ze schreiwen déi vereinfachen mam System schaffen. En anere Virdeel vum Interaktiounssystem ze benotzen (am Verglach mat anere Messenger) ass d'Fäegkeet fir kontextuell Diskussiounen ze féieren verbonne mat spezifesche Document Flow Objekter - Dokumenter, Eventer, etc. Dat ass, den Interaktiounssystem ass déif mat der Zilapplikatioun integréiert, an handelt net nëmmen als "separate Knäppchen".
D'Zuel vun de Bréiwer an eisem DO ass scho méi wéi 100 Milliounen iwwerschratt, an allgemeng sinn et méi wéi 11 Milliarden records am DBMS. Am Ganzen benotzt de System bal 30 TB Späichere: d'Datebankvolumen ass 7,5 TB, Dateie fir kollektiv Aarbecht ginn separat gespäichert a besetzen eng aner 21 TB.
Wa mir iwwer méi spezifesch Zuelen schwätzen, hei ass d'Zuel vu Buschtawen an Dateien am Moment:
- Ausgaang E-Mailen - 14,7 Milliounen.
- Entréeën Bréiwer - 85,4 Milliounen.
- Fichier Versiounen - 70,8 Milliounen.
- Intern Dokumenter - 30,6 dausend.
DO huet méi wéi just Mail an Dateien. Drënner sinn d'Zuelen fir aner Comptabilitéitsobjekter:
- Buchung Reuniounssäll - 52
- Wochemaart Rapporten - 153
- Deeglech Berichter - 628
- Genehmegung Visaën - 11
- Entréeën Dokumenter - 79
- Erausginn Dokumenter - 28
- Entréen iwwer Evenementer am Benotzer Aarbecht Kalenner - 168
- Uwendungen fir Courrier - 21
- Géigespiller - 81
- Records vun Aarbecht mat Géigespiller - 45
- Kontakt Persounen vun Géigespiller - 41
- Evenementer - 10
- Projeten - 6
- Employé Aufgaben - 245
- Forum posts - 26
- Chat Messagen - 891 095
- Business Prozesser - 109 056. Interaktioun tëscht Mataarbechter geschitt duerch Prozesser - Genehmegung, Ausféierung, Iwwerpréiwung, Aschreiwung, Ënnerschrëft, etc. Mir moossen d'Dauer vun de Prozesser, d'Zuel vun den Zyklen, d'Zuel vun de Participanten, d'Zuel vun de Retouren, d'Zuel vun den Ufroe fir d'Deadline z'änneren. An dës Informatioun ass ganz nëtzlech fir ze analyséieren fir ze verstoen wat Prozesser an der Entreprise stattfannen an d'Effizienz vun der Zesummenaarbecht vun den Mataarbechter erhéijen.
Op wéi eng Ausrüstung veraarbechte mir dat alles?
Dës Zuelen weisen eng beandrockend Volumen vun Aufgaben un, sou datt mir mat der Bedierfnes konfrontéiert waren, zimlech produktiv Ausrüstung fir d'Bedierfnesser vun den internen Filialen ze verdeelen. Am Moment sinn seng Charakteristiken wéi follegt: 38 Kären, 240 GB RAM, 26 TB Disken. Hei ass eng Tabell mat Serveren:
An Zukunft plangen mir d'Kapazitéit vun der Ausrüstung ze erhéijen.
Wéi geet et mat der Serverbelaaschtung?
Reseau Aktivitéit war ni e Problem fir eis oder eise Clienten. Normalerweis ass de schwaache Punkt de Prozessor an d'Disken, well jidderee weess wéi mat engem Manktem un Erënnerung ëmzegoen. Hei sinn Screenshots vun eise Serveren vum Ressource Monitor, déi weisen datt mir keng schrecklech Laascht hunn, et ass ganz bescheiden.
Zum Beispill, am Screenshot hei ënnen gesi mir e SQL Server wou d'CPU Belaaschtung 23% ass. An dat ass e ganz gutt Indikator (zum Verglach: wann d'Laascht op 70% kënnt, dann, wahrscheinlech, wäerten d'Mataarbechter zimmlech bedeitend Verloschter an der Aarbecht beobachten).
Déi zweet Screenshot weist den Applikatiounsserver op deem d'1C: Enterprise Plattform leeft - et servéiert nëmme Benotzersessiounen. Hei ass de Prozessor Laascht liicht méi héich - 38%, et ass glat a roueg. Et gëtt e puer Disk Lueden, awer et ass akzeptabel.
Déi drëtt Screenshot weist en aneren 1C: Enterprise Server (et ass deen zweeten, mir hunn zwee vun hinnen am Cluster). Nëmmen déi virdrun déngt Benotzer, a Roboteren schaffen op dëser. Zum Beispill kréien se Mail, Route Dokumenter, Austausch Daten, Berechent Rechter, etc. All dës Hannergrondaktivitéite maachen ongeféier 90-100 Hannergrondjobs. An dëse Server ass ganz schwéier gelueden - 88%. Awer dëst beaflosst d'Leit net, an et implementéiert genau all d'Automatiséierung déi d'Dokumentmanagement soll maachen.
Wat sinn d'Metriken fir d'Leeschtung ze moossen?
Mir hunn e seriöse Subsystem an eise Filialen agebaut fir Leeschtungsindikatoren ze moossen a verschidde Metriken ze berechnen. Dat ass néideg fir souwuel am aktuelle Moment an aus enger historescher Perspektiv ze verstoen, wat am System geschitt, wat méi schlëmm gëtt, wat besser gëtt. Iwwerwaachungsinstrumenter - Metriken an Zäitmiessungen - sinn an der Standard Liwwerung vun "1C: Document Flow 8" abegraff. D'Metriken erfuerderen Personnalisatioun wärend der Implementatioun, awer de Mechanismus selwer ass Standard.
Metriken si Miessunge vu verschiddene Geschäftsindikatoren op bestëmmte Punkten an der Zäit (zum Beispill, déi duerchschnëttlech Mail Liwwerung Zäit ass 10 Minutten).
Ee vun de Metriken weist d'Zuel vun den aktive Benotzer an der Datebank. Am Duerchschnëtt sinn et 1000-1400 vun hinnen am Dag. D'Grafik weist datt et zu der Zäit vum Screenshot 2144 aktive Benotzer an der Datebank waren.
Et gi méi wéi 30 esou Aktiounen, d'Lëscht ass ënner dem Schnëtt.Lëscht
- Login fir de System
- Ofmellen
- Lueden Mail
- Änneren d'Validitéit vun engem Objet
- Änneren Zougangsrechter
- Änneren d'Thema vun engem Prozess
- Änneren vun engem Objet d'Aarbechtsgrupp
- Ännerung vun der Zesummesetzung vum Kit
- Eng Datei änneren
- Dateiimport
- Schécken per Mail
- Plënneren Fichieren
- Viruleedung vun enger Aufgab
- Ënnerschreiwe vun der elektronescher Ënnerschrëft
- Sich no Detailer
- Voll Text Sich
- E Fichier kréien
- Ënnerbriechung vun engem Prozess
- Vue
- Entschlësselung
- Dokument Aschreiwung
- Scan
- Demarkéiert Läschen
- En Objet erstellen
- Späicheren op Disk
- Start vum Prozess
- Läschen Benotzer Log Entréen
- Ewechzehuelen eng elektronesch Ënnerschrëft
- Astellung vun engem Läschmark
- Verschlësselung
- Export en Dossier
Déi lescht Woch ass eis duerchschnëttlech Benotzeraktivitéit ëm annerhallef Mol eropgaang (rout op der Grafik gewisen) - dëst ass wéinst dem Iwwergang vun de meeschte Mataarbechter op Fernaarbecht (wéinst bekannten Eventer). Och d'Zuel vun den aktive Benotzer ass ëm 3 Mol eropgaang (am blo um Screenshot gewisen), well d'Mataarbechter ugefaang hunn aktiv Handyen ze benotzen: all mobil Client erstellt eng Verbindung mam Server. Elo huet an der Moyenne jidderee vun eise Mataarbechter 2 Verbindunge mam Server.
Fir eis, als Administrateuren, ass dëst e Signal datt mir méi op d'Leeschtungsproblemer musse opmierksam maachen a kucken ob d'Saachen verschlechtert ginn. Mä mir kucken op dat baséiert op anere Parameteren. Zum Beispill, wéi d'Mail-Liwwerzäit fir intern Routing ännert (blo am Screenshot hei ënnen gewisen). Mir gesinn datt et bis dëst Joer schwankt, awer elo ass et stabil - fir eis ass dëst en Indikateur datt alles an der Rei ass mam System.
Eng aner applizéiert Metrik fir eis ass déi duerchschnëttlech Waardezäit fir Bréiwer vum Mailserver erofzelueden (rout am Screenshot gewisen). Grof geschwat, wéi laang wäert de Bréif um Internet schwiewen ier en eise Mataarbechter erreecht. De Screenshot weist datt dës Zäit och viru kuerzem op kee Fall geännert huet. Et gi isoléiert Spikes - awer si sinn net mat Verspéidungen assoziéiert, awer mat der Tatsaach datt d'Zäit op de Mailserver verluer ass.
Oder, zum Beispill, eng aner Metrik (blo am Screenshot gewisen) - Bréiwer an engem Dossier aktualiséieren. E Mail Dossier opzemaachen ass eng ganz allgemeng Operatioun a muss séier gemaach ginn. Mir moossen wéi séier et duerchgefouert gëtt. Dësen Indikator gëtt fir all Client gemooss. Dir kënnt souwuel d'Gesamtbild fir d'Firma an d'Dynamik gesinn, zum Beispill fir en individuellen Employé. De Screenshot weist datt bis dëst Joer d'Metrik onbalancéiert war, duerno hu mir eng Rei Verbesserungen gemaach, an elo gëtt et net méi schlëmm - d'Grafik ass bal flaach.
Metriken sinn am Fong en Administrator Tool fir de System ze iwwerwaachen, fir séier op all Ännerungen am Verhalen vum System ze reagéieren. De Screenshot weist intern Duechtergesellschaft Metriken fir d'Joer. De Sprong an de Grafiken ass wéinst der Tatsaach datt mir Aufgabe kruten fir intern Filialen z'entwéckelen.
Hei ass eng Lëscht vun e puer méi Metriken (ënnert dem Schnëtt).
Metriken
- Benotzer Aktivitéit
- Aktiv Benotzer
- Aktiv Prozesser
- Zuel vun de Fichieren
- Dateigréisst (MB)
- Zuel vun Dokumenter
- Zuel vun den Objeten déi un d'Empfänger geschéckt ginn
- Zuel vun Géigespiller
- Ongeschloss Aufgaben
- Duerchschnëtt Waardezäit fir E-Maile vum Mailserver erofzelueden an de leschten 10 Minutten
- Extern Datebuffer: Zuel vu Fichieren
- Lagging Grenz vum aktuellen Datum
- Laang Schlaang
- Operationell Schlaang
- Raw Kont Alter duerch extern Routing
- Intern Routing Akzeptanz Schlaang Gréisst (laang Schlaang)
- Intern Routing Akzeptanz Schlaang Gréisst (schnell Schlaang)
- Mail Liwwerung Zäit iwwer intern Routing (laang Schlaang)
- Mail Liwwerung Zäit iwwer intern Routing (schnell Schlaang)
- Mail Liwwerung Zäit iwwer extern Routing (Duerchschnëtt)
- Zuel vun Dokumenter Reservatioun
- Zuel vun Dokumenter Absence
- Zuel vun Dokumenter "Rekord vun Aarbecht mat Géigespiller"
- Mail Update Bréiwer an engem Dossier
- Mail Ouverture engem Bréif Kaart
- E-Mail Transfert e Bréif an en Dossier
- Mail Navigéiert duerch Ordner
Eise System moosst méi wéi 150 Indikatoren ronderëm d'Auer, awer net all kënne séier iwwerwaacht ginn. Si kënne spéider praktesch kommen, an enger historescher Perspektiv, an Dir kënnt op déi wichtegst fir d'Geschäft konzentréieren.
An enger vun den Implementatiounen, zum Beispill, goufen nëmmen 5 Indikatoren ausgewielt. De Client huet e Goal gesat fir e Minimum Set vun Indikatoren ze kreéieren, awer gläichzäiteg sou datt et d'Haaptaarbechtszenarie ofdeckt huet. Et wier ongerechtfäerdegt 150 Indikatoren am Akzeptanzzertifika ze enthalen, well och an der Entreprise ass et schwéier eens ze sinn iwwer wéi eng Indikatoren als akzeptabel ugesi ginn. A si woussten iwwer dës 5 Indikatoren an hunn se scho virum Start vum Implementatiounsprojet dem System virgestallt, dorënner se an der Konkurrenzdokumentatioun: Zäit fir eng Kaart opzemaachen net méi wéi 3 Sekonnen, Zäit fir eng Aufgab mat engem Fichier Nee ze kompletéieren méi wéi 5 Sekonnen, etc. An eise Filialen hu mir Metriken déi ganz kloer déi ursprénglech Ufro vun den technesche Spezifikatioune vum Client reflektéieren.
Mir hunn och eng Profilanalyse vu Leeschtungsmiessungen. Leeschtungsindikatoren sinn eng Opnam vun der Dauer vun all lafend Operatioun (e Bréif un d'Datebank schreiwen, e Bréif un e Mailserver schécken, etc.). Dëst gëtt exklusiv vun Techniker benotzt. Mir sammelen vill Leeschtungsindikatoren an eisem Programm. Mir moossen momentan ongeféier 1500 Schlësseloperatiounen, déi a Profiler opgedeelt sinn.
Ee vun de wichtegste Profiler fir eis ass d'"Lëscht vu Schlësselindikatoren vu Mail aus engem Konsumenteperspektiv." Dëse Profil enthält zum Beispill déi folgend Indikatoren:
- De Kommando ausféieren: Wielt duerch Tag
- Opzemaachen vun enger Form: Lëscht Form
- De Kommando ausféieren: Wielt no Dossier
- Weist e Bréif am Liesberäich
- Späichert e Bréif an Äre Liiblingsdossier
- Sich no Bréiwer no Detailer
- Schafft e Bréif
Wa mir gesinn datt d'Metrik fir e puer Geschäftsindikatoren ze grouss ginn ass (zum Beispill, Bréiwer vun engem bestëmmte Benotzer hu fir eng ganz laang Zäit ugefaang ze kommen), fänken mir un et erauszefannen an d'Zäit vun techneschen Operatiounen ze moossen. Mir hunn eng technesch Operatioun "Archivéiere vu Bréiwer op engem Mailserver" - mir gesinn datt d'Zäit fir dës Operatioun fir déi lescht Period iwwerschratt gouf. Dës Operatioun gëtt am Tour an aner Operatiounen ofgebaut - zum Beispill, eng Verbindung mat engem Mailserver opzebauen. Mir gesinn datt et aus iergendengem Grond op eemol ganz grouss ginn ass (mir hunn all Miessunge fir e Mount - mir kënne vergläichen datt d'lescht Woch 10 Millisekonnen war, an elo ass et 1000 Millisekonnen). A mir verstinn datt eppes hei gebrach ass - mir mussen et fixéieren.
Wéi erhale mir esou eng grouss Datebank?
Eis intern DO ass e Beispill vun engem wierklech schaffende High-load Projet. Loosst eis iwwer d'technesch Feature vu senger Datebank schwätzen.
Wéi laang dauert et fir grouss Datebank Dëscher ze restrukturéieren?
De SQL Server erfuerdert periodesch Ënnerhalt, d'Tabellen an Uerdnung setzen. Op eng gutt Manéier soll dëst op d'mannst eemol am Dag gemaach ginn, an nach méi dacks fir héich-Nofro Dëscher. Awer wann d'Datebank grouss ass (an eis Zuel vun den Opzeechnungen ass scho méi wéi 11 Milliarden iwwerschratt), dann ass et net einfach ze këmmeren.
Mir hunn viru 6 Joer eng Tabelle-Restrukturéierung gemaach, awer dunn huet et ugefaang sou vill Zäit ze huelen, datt mir net méi an d'Nuetsintervall passen. A well dës Operatiounen de SQL Server staark laden, kann et net effizient aner Benotzer déngen.
Dofir musse mir elo verschidden Tricken benotzen. Zum Beispill kënne mir dës Prozeduren net op komplette Datesätz ausféieren. Dir musst op d'Update Sample 500000 Zeilen Prozedur zréckgräifen - dëst dauert 14 Minutten. Et aktualiséieren keng Statistiken iwwer all d'Donnéeën an der Tabell, awer wielt eng hallef Millioun Reihen a benotzt se fir Statistiken ze berechnen déi se fir de ganzen Dësch benotzt. Dëst ass e puer Viraussetzungen, awer mir si gezwongen et ze maachen, well fir e spezifeschen Dësch d'Statistike sammelen iwwer déi ganz Milliarde records eng inakzeptabel laang Zäit daueren.
Mir hunn och aner Ënnerhalt Operatiounen optimiséiert andeems se deelweis gemaach ginn.
En DBMS erhalen ass allgemeng eng komplex Aufgab. Am Fall vun enger aktiver Interaktioun tëscht Mataarbechter wiisst d'Datebank séier, an et gëtt ëmmer méi schwéier fir d'Administrateuren et z'erhalen - Update Statistiken, Defragmentéierung, Indexéierung. Hei musse mir verschidde Strategien applizéieren, mir wësse gutt wéi dat ze maachen, mir hunn Erfahrung, mir kënnen et deelen.
Wéi gëtt de Backup mat esou Bänn ëmgesat?
E komplette DBMS-Backup gëtt eemol am Dag an der Nuecht gemaach, eng inkrementell - all Stonn. Och e Fichierverzeechnes gëtt all Dag erstallt, an et ass en Deel vun der inkrementeller Backup vun der Dateilagerung.
Wéi laang dauert et fir e komplette Backup ze kompletéieren?
E komplette Backup op eng Festplack gëtt an dräi Stonnen ofgeschloss, e partielle Backup an enger Stonn. Et dauert méi laang fir op de Band ze schreiwen (e speziellen Apparat deen eng Backupkopie op eng speziell Kassett mécht, déi ausserhalb vum Büro gelagert ass; eng iwwerdrobar Kopie gëtt op de Band gemaach, déi erhale bleift wann zum Beispill de Serverraum ofbrennt). De Backup gëtt op genau deemselwechte Server gemaach, d'Parameter vun deenen méi héich waren - e SQL Server mat 20% Prozessorbelaaschtung. Zu der Zäit vum Backup, natierlech, gëtt de System vill méi schlëmm, awer et ass nach ëmmer funktionell.
Gëtt et Deduplikatioun?
Et gi Dateien, mir testen et op eis selwer, a geschwënn gëtt et an der neier Versioun vum Document Management abegraff. Mir testen och de Géigepartei Deduplikatiounsmechanismus aus. Et gëtt keng Deduplikatioun vun Opzeechnungen um DBMS Niveau, well dëst net néideg ass. D'1C: Enterprise Plattform späichert Objeten am DBMS, an nëmmen d'Plattform kann fir hir Konsistenz verantwortlech sinn.
Ginn et nëmme Liesknäppchen?
Et gi keng Liesknäppchen (engagéierten Systemknäppchen, déi deenen déngen, déi Donnéeën fir d'Liesen mussen kréien). DO ass kee Comptabilitéitssystem fir op e separaten BI Node ze setzen, awer et gëtt e separaten Node fir d'Entwécklungsdepartement, mat deem Messagen am JSON Format ausgetauscht ginn, an déi typesch Replikatiounszäit ass Eenheeten an Zénger vu Sekonnen. Den Node ass nach ëmmer kleng, et huet ongeféier 800 Millioune Rekorder, awer et wiisst séier.
Ginn E-Maile markéiert fir ze läschen guer net geläscht?
Nach net. Mir hunn net d'Aufgab fir d'Basis méi hell ze maachen. Et waren e puer zimlech sérieux Fäll, wou et néideg war, op d'Läsche markéiert Bréiwer ze referenzéieren, dorënner 2009. Dofir hu mir décidéiert fir elo alles ze halen. Awer wann d'Käschte vun dësem ongerechtfäerdegt ginn, wäerte mir iwwer d'Ewechhuele denken. Awer wann Dir e separaten Bréif aus der Datebank komplett ewechhuele musst, sou datt et keng Spure gëtt, da kann dat op speziell Ufro gemaach ginn.
Firwat späicheren? Hutt Dir Statistiken iwwer Zougang zu alen Dokumenter?
Et gi keng Statistiken. Méi präzis ass et a Form vun engem Benotzerprotokoll, awer et gëtt net laang gespäichert. Entréen méi al wéi ee Joer ginn aus dem Protokoll geläscht.
Et goufen Situatiounen, wou et néideg war, al Korrespondenz vu viru fënnef oder souguer zéng Joer ze recuperéieren. An dëst gouf ëmmer net aus Idle Virwëtz gemaach, mee fir komplex Geschäftsentscheedungen ze treffen. Et war e Fall wou, ouni Korrespondenz Geschicht, eng falsch Affär Decisioun getraff ginn hätt.
Wéi gëtt de Wäert vun den Dokumenter no Stockageperioden bewäert an zerstéiert?
Fir Pabeierdokumenter gëtt dat op déi üblech traditionell Manéier gemaach, wéi all déi aner. Mir maachen et net fir elektronesch - loosst se se fir sech selwer halen. De Sëtz ass hei. Et gi Virdeeler. Jiddereen ass gutt.
Wéi eng Entwécklungsperspektive ginn et?
Elo léist eis DO ongeféier 30 intern Problemer, e puer vun deenen mir am Ufank vum Artikel opgezielt hunn. Den DL gëtt och benotzt fir Konferenzen virzebereeden, déi mir zweemol am Joer fir eis Partner ofhalen: de ganze Programm, all Berichter, all Parallel Sektiounen, Säll - dat alles gëtt an den DL ageschriwwen, an dann erofgelueden an e gedréckte Programm gemaach gëtt.
Et sinn nach e puer Aufgaben fir den DO ënnerwee, nieft deenen, déi e schonn léist. Et gi Firma-breet Aufgaben, an et sinn eenzegaarteg a rar, déi nëmmen vun engem spezifeschen Departement gebraucht ginn. Et ass néideg hinnen ze hëllefen, dat heescht d'Erweiderung vun der "Geographie" vum System am 1C ze benotzen - d'Ausdehnung vum Ëmfang vun der Applikatioun, d'Problemer vun all Departementer ze léisen. Dëst wier dee beschten Test fir Leeschtung an Zouverlässegkeet. Ech géif gären de System ze gesinn Aarbecht op Billiounen vun records, Petabytes vun Informatiounen.
Source: will.com