V 1C široko využívame vlastný vývoj na organizovanie práce spoločnosti. najmä . Okrem správy dokumentov (ako už názov napovedá) ide aj o modernu -systém (Enterprise Content Management - správa firemného obsahu) so širokou škálou funkcionality - pošta, pracovné kalendáre zamestnancov, organizovanie zdieľaného prístupu k zdrojom (napríklad rezervácia zasadacích miestností), sledovanie času, firemné fórum a mnoho ďalších.
Viac ako tisíc zamestnancov využíva správu dokumentov v 1C. Databáza sa už stala pôsobivou (11 miliárd záznamov), čo znamená, že si vyžaduje starostlivejšiu starostlivosť a výkonnejšie vybavenie.
Ako náš systém funguje, s akými ťažkosťami sa stretávame pri údržbe databázy a ako ich riešime (ako DBMS používame MS SQL Server) - to vám povieme v článku.
Pre tých, ktorí čítajú o produktoch 1C prvýkrát.
1C:Document Flow je aplikačné riešenie (konfigurácia) implementované na báze frameworku pre vývoj podnikových aplikácií – platformy 1C:Enterprise.
„1C: Document Flow 8“ (skrátene DO) vám umožňuje automatizovať prácu s dokumentmi v podniku. Jedným z hlavných nástrojov interakcie zamestnancov je e-mail. Okrem pošty rieši DO aj ďalšie problémy:
- Sledovanie času
- Sledovanie absencie zamestnancov
- Žiadosti pre kuriérov/prepravu
- Pracovné kalendáre zamestnancov
- Registrácia korešpondencie
- Kontakty na zamestnanca (adresár)
- Firemné fórum
- Rezervácia izby
- Plánovanie akcie
- CRM
- Kolektívna práca so súbormi (s ukladaním verzií súborov)
- et al.
Vstúpime do správy dokumentov (natívna spustiteľná aplikácia) z Windows, Linux, macOS, (z prehliadačov) a - v závislosti od situácie.
A vďaka nášmu ďalšiemu produktu pripojenému k Document Flow - – Priamo v Document Flow dostávame funkcie messengeru – chaty, audio a video hovory (vrátane skupinových hovorov, ktoré sú teraz obzvlášť dôležité, aj z mobilného klienta), rýchla výmena súborov plus možnosť písať chatovacie roboty, ktoré zjednodušujú prácu so systémom. Ďalšou výhodou používania Interaction System (v porovnaní s inými messengermi) je možnosť viesť kontextové diskusie viazané na konkrétne objekty Document Flow – dokumenty, udalosti atď. To znamená, že systém interakcie je hlboko integrovaný s cieľovou aplikáciou a nepôsobí len ako „samostatné tlačidlo“.
Počet písmen v našom DO už prekročil 100 miliónov a vo všeobecnosti je v DBMS viac ako 11 miliárd záznamov. Celkovo systém využíva takmer 30 TB úložiska: objem databázy je 7,5 TB, súbory pre kolektívnu prácu sú uložené oddelene a zaberajú ďalších 21 TB.
Ak hovoríme o konkrétnejších číslach, tu je momentálne počet písmen a súborov:
- Odchádzajúce e-maily – 14,7 milióna.
- Prichádzajúce listy – 85,4 milióna.
- Verzie súborov – 70,8 milióna.
- Interné doklady – 30,6 tis.
DO má viac než len poštu a súbory. Nižšie sú uvedené čísla pre ostatné účtovné objekty:
- Rezervácia zasadacích miestností – 52 126
- Týždenné správy – 153 940
- Denné správy – 628 153
- Schvaľovacie víza – 11 821
- Došlé doklady – 79 677
- Odchádzajúce doklady – 28 357
- Záznamy o udalostiach v pracovných kalendároch používateľov – 168 228
- Žiadosti pre kuriérov – 21 883
- Protistrany – 81 029
- Záznamy o práci s protistranami – 45 632
- Kontaktné osoby protistrán – 41 795
- Udalosti – 10 243
- Projekty – 6 320
- Úlohy zamestnancov – 245 980
- Príspevky na fóre – 26 282
- Chat správy – 891 095
- Obchodné procesy – 109 056. Interakcia medzi zamestnancami prebieha prostredníctvom procesov – schvaľovanie, realizácia, kontrola, registrácia, podpisovanie atď. Meriame trvanie procesov, počet cyklov, počet účastníkov, počet návratov, počet žiadostí o zmenu termínov. A tieto informácie je veľmi užitočné analyzovať, aby sme pochopili, aké procesy prebiehajú v podniku a zvýšili efektivitu spolupráce zamestnancov.
Na akom zariadení to všetko spracovávame?
Tieto čísla svedčia o pôsobivom objeme úloh, takže sme boli konfrontovaní s potrebou alokovať pomerne produktívne vybavenie pre potreby interných dcérskych spoločností. Aktuálne sú jeho charakteristiky nasledovné: 38 jadier, 240 GB RAM, 26 TB diskov. Tu je tabuľka serverov:
V budúcnosti plánujeme zvýšiť kapacitu zariadení.
Ako je to so záťažou servera?
Sieťová aktivita nám ani našim zákazníkom nikdy nerobila problém. Slabým miestom je spravidla procesor a disky, pretože s nedostatkom pamäte si už vie poradiť každý. Tu sú screenshoty našich serverov z Resource Monitor, ktoré ukazujú, že nemáme žiadnu strašnú záťaž, je veľmi skromná.
Napríklad na obrázku nižšie vidíme server SQL, kde je zaťaženie procesora 23%. A to je veľmi dobrý ukazovateľ (na porovnanie: ak sa zaťaženie blíži k 70%, zamestnanci s najväčšou pravdepodobnosťou zaznamenajú pomerne výrazné spomalenie práce).
Na druhej snímke obrazovky je zobrazený aplikačný server, na ktorom beží platforma 1C:Enterprise – slúži iba na relácie používateľov. Tu je zaťaženie procesora o niečo vyššie – 38 %, je plynulé a pokojné. Existuje určité zaťaženie disku, ale je prijateľné.
Tretia snímka obrazovky ukazuje ďalší server 1C:Enterprise (je to druhý, v klastri ich máme dva). Používateľom slúži iba ten predchádzajúci a na tomto pracujú roboty. Napríklad prijímajú poštu, smerujú dokumenty, vymieňajú si údaje, počítajú práva atď. Všetky tieto činnosti na pozadí vykonávajú približne 90 – 100 úloh na pozadí. A tento server je veľmi zaťažený - 88%. To sa však netýka ľudí a implementuje presne všetku automatizáciu, ktorú by mala správa dokumentov robiť.
Aké sú metriky na meranie výkonnosti?
V našich pobočkách máme zabudovaný seriózny subsystém na meranie ukazovateľov výkonnosti a výpočet rôznych metrík. Je to potrebné, aby sme pochopili ako v súčasnom okamihu, tak aj z historickej perspektívy, čo sa deje v systéme, čo sa zhoršuje, čo sa zlepšuje. Monitorovacie nástroje – metriky a merania času – sú súčasťou štandardnej dodávky „1C: Document Flow 8“. Metriky vyžadujú prispôsobenie počas implementácie, ale samotný mechanizmus je štandardný.
Metriky sú merania rôznych obchodných ukazovateľov v určitých časových bodoch (napríklad priemerný čas doručenia pošty je 10 minút).
Jedna z metrík zobrazuje počet aktívnych používateľov v databáze. Priemerne ich je počas dňa 1000-1400. Graf ukazuje, že v čase vytvorenia snímky bolo v databáze 2144 aktívnych používateľov.
Existuje viac ako 30 takýchto akcií, zoznam je pod rezom.Zoznam
- Prihlásiť sa
- Odhlásiť Sa
- Načítava sa pošta
- Zmena platnosti objektu
- Zmena prístupových práv
- Zmena predmetu procesu
- Zmena pracovnej skupiny objektu
- Zmena zloženia súpravy
- Zmena súboru
- Import súboru
- Posielanie poštou
- Presúvanie súborov
- Presmerovanie úlohy
- Podpísanie elektronického podpisu
- Hľadajte podľa podrobností
- Fulltextové vyhľadávanie
- Prijímanie súboru
- Prerušenie procesu
- preskúmanie
- Dešifrovanie
- Registrácia dokumentu
- skenovať
- Ruší sa označenie vymazania
- Vytvorenie objektu
- Ukladanie na disk
- Začiatok procesu
- Odstránenie záznamov denníka používateľov
- Odstránenie elektronického podpisu
- Nastavenie značky odstránenia
- Šifrovanie
- Exportovať priečinok
Predminulý týždeň sa nám priemerná aktivita používateľov zvýšila jedenapolnásobne (v grafe znázornené červenou farbou) – je to spôsobené prechodom väčšiny zamestnancov na prácu na diaľku (kvôli známym udalostiam). Počet aktívnych používateľov sa tiež zvýšil 3-krát (zobrazené modrou farbou na snímke obrazovky), pretože zamestnanci začali aktívne používať mobilné telefóny: každý mobilný klient vytvára spojenie so serverom. Teraz má každý náš zamestnanec v priemere 2 pripojenia k serveru.
Pre nás, ako správcov, je to signál, že musíme venovať väčšiu pozornosť problémom s výkonom a sledovať, či sa veci nezhoršili. My sa na to ale pozeráme na základe iných parametrov. Napríklad, ako sa zmení čas doručenia pošty pre interné smerovanie (zobrazené modrou farbou na obrázku nižšie). Vidíme, že do tohto roku to kolísalo, no teraz je to stabilné - pre nás je to indikátor, že je so systémom všetko v poriadku.
Ďalšou aplikovanou metrikou je pre nás priemerná doba čakania na sťahovanie listov z poštového servera (na snímke obrazovky je znázornená červenou farbou). Zhruba povedané, ako dlho bude list plávať po internete, kým sa dostane k nášmu zamestnancovi. Snímka obrazovky ukazuje, že táto doba sa v poslednom čase tiež nijako nezmenila. Existujú izolované špičky - ale nie sú spojené s oneskorením, ale so skutočnosťou, že sa stráca čas na poštových serveroch.
Alebo napríklad iná metrika (na snímke obrazovky zobrazená modrou farbou) – aktualizácia písmen v priečinku. Otvorenie poštového priečinka je veľmi bežná operácia a je potrebné ju vykonať rýchlo. Meriame, ako rýchlo sa vykonáva. Tento ukazovateľ sa meria pre každého klienta. Môžete vidieť celkový obraz spoločnosti, ako aj dynamiku napríklad jednotlivého zamestnanca. Snímka obrazovky ukazuje, že do tohto roku bola metrika nevyvážená, potom sme urobili niekoľko vylepšení a teraz sa to nezhoršuje – graf je takmer plochý.
Metriky sú v podstate administrátorským nástrojom na monitorovanie systému, na rýchlu reakciu na akékoľvek zmeny v správaní systému. Snímka obrazovky zobrazuje interné dcérske metriky pre daný rok. Skok v grafoch je spôsobený tým, že sme dostali úlohy na rozvoj interných dcérskych spoločností.
Tu je zoznam niektorých ďalších metrík (pod rezom).
Metriky
- Aktivita používateľa
- Aktívni používatelia
- Aktívne procesy
- Počet súborov
- Veľkosť súboru (MB)
- Počet dokumentov
- Počet objektov, ktoré sa majú odoslať príjemcom
- Počet protistrán
- Nedokončené úlohy
- Priemerná doba čakania na sťahovanie e-mailov z poštového servera za posledných 10 minút
- Externá vyrovnávacia pamäť údajov: počet súborov
- Oneskorená hranica od aktuálneho dátumu
- Dlhý rad
- Operačný rad
- Nespracovaný vek účtu podľa externého smerovania
- Veľkosť frontu na prijatie interného smerovania (dlhý front)
- Veľkosť frontu na prijatie interného smerovania (rýchly front)
- Čas doručenia pošty prostredníctvom interného smerovania (dlhý rad)
- Čas doručenia pošty cez interné smerovanie (rýchla fronta)
- Čas doručenia pošty prostredníctvom externého smerovania (priemer)
- Počet dokumentov Rezervácia
- Počet dokumentov Absencia
- Počet dokumentov „Záznam o práci s protistranou“
- Mail Aktualizácia písmen v priečinku
- Mail Otvorenie listovej karty
- Mail Prenos listu do priečinka
- Mail Prechádzajte priečinkami
Náš systém nepretržite meria viac ako 150 indikátorov, no nie všetky je možné rýchlo sledovať. Môžu sa vám hodiť neskôr, z nejakej historickej perspektívy, a môžete sa zamerať na tie najdôležitejšie pre podnikanie.
V jednej z implementácií bolo napríklad vybraných len 5 ukazovateľov. Zákazník si stanovil za cieľ vytvoriť minimálnu sadu ukazovateľov, ale zároveň takú, aby pokrývala hlavné pracovné scenáre. Bolo by neopodstatnené zahrnúť do akceptačného certifikátu 150 ukazovateľov, pretože aj v rámci podniku je ťažké dohodnúť sa, ktoré ukazovatele sa považujú za prijateľné. A o týchto 5 ukazovateľoch vedeli a do systému ich predložili už pred začatím realizačného projektu, vrátane súťažnej dokumentácie: čas na otvorenie karty nie viac ako 3 sekundy, čas na splnenie úlohy so súborom č. viac ako 5 sekúnd atď. V našich dcérskych spoločnostiach sme mali metriky, ktoré veľmi jasne odrážali pôvodnú požiadavku z technických špecifikácií zákazníka.
Máme tiež profilovú analýzu meraní výkonu. Ukazovatele výkonnosti sú záznamom trvania každej prebiehajúcej operácie (napísanie listu do databázy, odoslanie listu na poštový server atď.). Toto používajú výlučne technici. V našom programe hromadíme veľa ukazovateľov výkonnosti. Aktuálne meriame približne 1500 XNUMX kľúčových operácií, ktoré sú rozdelené do profilov.
Jedným z najdôležitejších profilov je pre nás „Zoznam kľúčových ukazovateľov pošty z pohľadu spotrebiteľa“. Tento profil zahŕňa napríklad tieto ukazovatele:
- Vykonanie príkazu: Vyberte podľa značky
- Otvorenie formulára: Formulár zoznamu
- Vykonanie príkazu: Vyberte podľa priečinka
- Zobrazenie písmena v oblasti čítania
- Uloženie listu do vášho obľúbeného priečinka
- Vyhľadajte písmená podľa podrobností
- Vytvorenie listu
Ak vidíme, že metrika pre nejaký obchodný ukazovateľ je príliš veľká (napríklad listy od konkrétneho používateľa začali prichádzať veľmi dlho), začneme to zisťovať a začneme merať čas technických operácií. Máme technickú operáciu „Archivácia listov na poštovom serveri“ – vidíme, že čas tejto operácie bol za posledné obdobie prekročený. Táto operácia sa zase rozloží na ďalšie operácie - napríklad nadviazanie spojenia s poštovým serverom. Vidíme, že z nejakého dôvodu sa zrazu veľmi zväčšil (máme všetky merania za mesiac – môžeme porovnať, že minulý týždeň to bolo 10 milisekúnd a teraz je to 1000 milisekúnd). A chápeme, že sa tu niečo pokazilo - musíme to opraviť.
Ako udržiavame takú veľkú databázu?
Náš interný DO je príkladom skutočne fungujúceho vysoko zaťaženého projektu. Poďme sa porozprávať o technických vlastnostiach jeho databázy.
Ako dlho trvá reštrukturalizácia veľkých databázových tabuliek?
SQL server vyžaduje pravidelnú údržbu, ktorá dáva tabuľky do poriadku. V dobrom slova zmysle by sa to malo robiť aspoň raz denne a pri stoloch s vysokým dopytom ešte častejšie. Ale ak je databáza veľká (a počet našich záznamov už presiahol 11 miliárd), tak starostlivosť o ňu nie je jednoduchá.
Reštrukturalizáciu tabuliek sme robili pred 6 rokmi, no potom to začalo trvať tak dlho, že sme sa už nezmestili do nočných intervalov. A keďže tieto operácie silne zaťažujú SQL server, nemôže efektívne slúžiť iným používateľom.
Preto teraz musíme použiť rôzne triky. Tieto postupy napríklad nemôžeme vykonávať na úplných súboroch údajov. Musíte sa uchýliť k postupu aktualizácie vzorky 500000 14 riadkov – trvá to XNUMX minút. Neaktualizuje štatistiky všetkých údajov v tabuľke, ale vyberie pol milióna riadkov a použije ich na výpočet štatistík, ktoré použije pre celú tabuľku. Je to určitý predpoklad, ale sme nútení ho urobiť, pretože pre konkrétnu tabuľku bude zber štatistík o celej miliarde záznamov trvať neprijateľne dlho.
Optimalizovali sme aj ďalšie operácie údržby tak, že sme ich urobili čiastočnými.
Údržba DBMS je vo všeobecnosti zložitá úloha. V prípade aktívnej interakcie medzi zamestnancami sa databáza rýchlo rozrastá a pre administrátorov je čoraz ťažšie ju udržiavať – aktualizovať štatistiky, defragmentovať, indexovať. Tu treba aplikovať rôzne stratégie, vieme dobre ako na to, máme skúsenosti, vieme sa o ne podeliť.
Ako sa implementuje zálohovanie s takýmito zväzkami?
Úplné zálohovanie DBMS sa vykonáva raz denne v noci, prírastkové – každú hodinu. Každý deň sa vytvára aj adresár súborov, ktorý je súčasťou prírastkovej zálohy úložiska súborov.
Ako dlho trvá dokončenie úplnej zálohy?
Úplná záloha na pevný disk je hotová za tri hodiny, čiastočná za hodinu. Zápis na pásku trvá dlhšie (špeciálne zariadenie, ktoré vytvorí záložnú kópiu na špeciálnu kazetu uloženú mimo kancelárie; na pásku sa vytvorí prenosná kópia, ktorá sa zachová, ak napríklad vyhorí serverovňa). Záloha sa robí na presne ten istý server, ktorého parametre boli vyššie - SQL server s 20% zaťažením procesora. V čase zálohovania sa systém samozrejme výrazne zhorší, no stále je funkčný.
Existuje deduplikácia?
Existujú súbory, otestujeme to na sebe a čoskoro to bude zahrnuté v novej verzii správy dokumentov. Testujeme aj mechanizmus deduplikácie protistrany. Neexistuje žiadna deduplikácia záznamov na úrovni DBMS, pretože to nie je potrebné. Platforma 1C:Enterprise ukladá objekty do DBMS a za ich konzistenciu môže zodpovedať iba platforma.
Existujú uzly len na čítanie?
Neexistujú žiadne čítacie uzly (vyhradené systémové uzly, ktoré slúžia tým, ktorí potrebujú prijímať dáta na čítanie). DO nie je účtovný systém, ktorý by sa dal umiestniť na samostatný uzol BI, ale existuje samostatný uzol pre oddelenie vývoja, s ktorým sa vymieňajú správy vo formáte JSON a typický čas replikácie sú jednotky a desiatky sekúnd. Uzol je stále malý, má okolo 800 miliónov záznamov, ale rýchlo sa rozrastá.
Nie sú e-maily označené na odstránenie vôbec odstránené?
Ešte nie. Nemáme za úlohu základňu odľahčiť. Vyskytlo sa niekoľko dosť závažných prípadov, keď bolo potrebné odvolávať sa na listy označené na vymazanie, vrátane roku 2009. Preto sme sa rozhodli zatiaľ všetko ponechať. Ale keď sa náklady na to stanú neoprávnenými, budeme premýšľať o odstránení. Ak však potrebujete úplne odstrániť samostatný list z databázy, aby nezostali žiadne stopy, môžete to urobiť na základe špeciálnej žiadosti.
Prečo ho skladovať? Máte štatistiky o prístupe k starým dokumentom?
Neexistujú žiadne štatistiky. Presnejšie povedané, má formu užívateľského denníka, no neukladá sa dlho. Záznamy staršie ako rok sa z protokolu vymažú.
Boli situácie, keď bolo potrebné získať starú korešpondenciu spred piatich alebo aj desiatich rokov. A to sa vždy nerobilo z nečinnej zvedavosti, ale kvôli zložitým obchodným rozhodnutiam. Vyskytol sa prípad, keď by bez histórie korešpondencie došlo k nesprávnemu obchodnému rozhodnutiu.
Ako sa posudzuje a ničí hodnota dokumentov podľa lehôt uloženia?
V prípade papierových dokumentov sa to robí obvyklým tradičným spôsobom, ako každý iný. Nerobíme to pre elektronické – nech si ich nechajú pre seba. Sedieť je tu. Existujú výhody. Všetci sú v poriadku.
Aké sú vyhliadky na rozvoj?
Teraz naše DO rieši asi 30 interných problémov, z ktorých niektoré sme uviedli na začiatku článku. DL sa používa aj na prípravu konferencií, ktoré organizujeme dvakrát do roka pre našich partnerov: celý program, všetky správy, všetky paralelné sekcie, sály - to všetko sa napíše do DL a potom sa z neho stiahne a vytlačený program je vyrobené.
Na ceste pre DO je ešte niekoľko úloh, okrem tých, ktoré už rieši. Existujú celofiremné úlohy a sú jedinečné a zriedkavé, ktoré potrebuje len konkrétne oddelenie. Je potrebné im pomôcť, čo znamená rozšírenie „geografie“ používania systému v rámci 1C - rozšírenie rozsahu aplikácie, riešenie problémov všetkých oddelení. Toto by bol najlepší test výkonu a spoľahlivosti. Chcel by som, aby systém fungoval na biliónoch záznamov, petabajtov informácií.
Zdroj: hab.com