Az 1C-nél széles körben alkalmazzuk saját fejlesztéseinket a cég munkájának megszervezésére. Különösen, . A dokumentumkezelés mellett (ahogy a neve is mutatja) modern -rendszer (Enterprise Content Management - vállalati tartalomkezelés) sokféle funkcióval - levelezés, alkalmazotti munkanaptárak, erőforrásokhoz való megosztott hozzáférés szervezése (például tárgyalók foglalása), időkövetés, vállalati fórum és még sok más.
Az 1C-nél több mint ezer alkalmazott használja a dokumentumkezelést. Az adatbázis máris impozáns lett (11 milliárd rekord), ami azt jelenti, hogy alaposabb gondozást és erősebb berendezéseket igényel.
Hogyan működik a rendszerünk, milyen nehézségekkel találkozunk az adatbázis karbantartása során, és hogyan oldjuk meg ezeket (DBMS-ként használjuk az MS SQL Servert) - eláruljuk a cikkben.
Azoknak, akik először olvasnak az 1C termékekről.
Az 1C:Document Flow egy alkalmazásmegoldás (konfiguráció), amelyet az üzleti alkalmazások fejlesztésére szolgáló keretrendszer - az 1C:Enterprise platform - alapján valósítottak meg.
Az „1C: Document Flow 8” (rövidítve DO) lehetővé teszi a dokumentumokkal való munka automatizálását egy vállalaton belül. Az alkalmazottak interakciójának egyik fő eszköze az e-mail. A levelezésen kívül a DO más problémákat is megold:
- Időmérés
- Munkavállalói távollét nyomon követése
- Pályázatok futároknak/fuvarozásnak
- Munkavállalói munkanaptárak
- Levelezés regisztrációja
- Alkalmazotti elérhetőségek (címjegyzék)
- Vállalati fórum
- Szoba foglalás
- Esemény tervezés
- CRM
- Kollektív munka fájlokkal (fájlverziók mentésével)
- stb
Belépünk a dokumentumkezelésbe (natív futtatható alkalmazás) Windows, Linux, macOS, (böngészőből) és - helyzettől függően.
És hála a másik termékünknek, amely a Document Flow-hoz kapcsolódik - – közvetlenül a Document Flow-ban kapjuk meg a messenger funkcióit – csevegés, audio- és videohívások (beleértve a csoportos hívásokat is, amelyek mostanra különösen fontossá váltak, akár mobilkliensről is), gyors fájlcsere, valamint a chat-botok írásának lehetősége, ami leegyszerűsíti dolgozik a rendszerrel. Az interakciós rendszer használatának másik előnye (más hírvivőkkel összehasonlítva) az a képesség, hogy kontextuális megbeszéléseket lehessen lefolytatni meghatározott Dokumentumfolyamat objektumokhoz – dokumentumokhoz, eseményekhez stb. Vagyis az Interaction System mélyen integrálva van a célalkalmazással, és nem csak „külön gombként” működik.
A DO-ban lévő betűk száma már meghaladta a 100 milliót, és általában több mint 11 milliárd rekord van a DBMS-ben. Összességében a rendszer csaknem 30 TB tárhelyet használ: az adatbázis térfogata 7,5 TB, a közös munkához szükséges fájlok külön tárolódnak, és további 21 TB-ot foglalnak el.
Ha konkrétabb számokról beszélünk, akkor itt van a betűk és fájlok száma jelenleg:
- Kimenő e-mailek – 14,7 millió.
- Bejövő levelek – 85,4 millió.
- Fájlverziók – 70,8 millió.
- Belső dokumentumok – 30,6 ezer.
A DO nem csak leveleket és fájlokat tartalmaz. Alább láthatók az egyéb számviteli objektumok számai:
- Tárgyalótermek foglalása – 52 126
- Heti jelentések – 153 940
- Napi jelentések – 628 153
- Jóváhagyó vízum – 11 821
- Beérkező iratok – 79
- Kimenő iratok – 28 357
- Felhasználói munkanaptárak eseményeiről szóló bejegyzések – 168 228
- Futár jelentkezés – 21 883
- Partnerek – 81 029
- A szerződő felekkel folytatott munka nyilvántartása – 45 632
- A szerződő felek kapcsolattartói – 41 795
- Események – 10 243
- Projektek – 6
- Munkavállalói feladatok – 245 980
- Fórumbejegyzések – 26 282
- Chat üzenetek – 891 095
- Üzleti folyamatok - 109 056. Az alkalmazottak közötti interakció folyamatokon keresztül történik - jóváhagyás, végrehajtás, felülvizsgálat, regisztráció, aláírás stb. Mérjük a folyamatok időtartamát, a ciklusok számát, a résztvevők számát, a visszaküldések számát, a határidő módosítási kérelmek számát. És ez az információ nagyon hasznos elemezni, hogy megértsük, milyen folyamatok zajlanak a vállalatban, és növeljük a munkavállalói együttműködés hatékonyságát.
Milyen berendezésen dolgozzuk fel mindezt?
Ezek a számok a feladatok lenyűgöző mennyiségét jelzik, így szembesültünk azzal az igénysel, hogy a belső leányvállalatok igényeihez eléggé produktív berendezéseket kell kiosztani. Jelenleg jellemzői a következők: 38 mag, 240 GB RAM, 26 TB lemez. Itt van egy táblázat a szerverekről:
A jövőben tervezzük a berendezések kapacitásának növelését.
Hogy állnak a dolgok a szerver terheléssel?
A hálózati tevékenység soha nem okozott problémát sem nekünk, sem ügyfeleinknek. A gyenge pont általában a processzor és a lemezek, mert már mindenki tudja, hogyan kell kezelni a memóriahiányt. Íme a szervereink képernyőképei a Resource Monitorból, amik azt mutatják, hogy nincs vészes terhelésünk, nagyon szerény.
Például az alábbi képernyőképen egy SQL szervert látunk, ahol a CPU terhelése 23%. És ez egy nagyon jó mutató (összehasonlításképpen: ha a terhelés megközelíti a 70% -ot, akkor valószínűleg az alkalmazottak jelentős lassulást tapasztalnak a munkában).
A második képernyőkép azt az alkalmazáskiszolgálót mutatja, amelyen az 1C:Enterprise platform fut - csak a felhasználói munkameneteket szolgálja ki. Itt a processzor terhelése valamivel magasabb - 38%, sima és nyugodt. Van némi lemezbetöltés, de ez elfogadható.
A harmadik képernyőképen egy másik 1C:Enterprise szerver látható (ez a második, kettő van belőlük a fürtben). Csak az előző szolgálja ki a felhasználókat, ezen a robotok dolgoznak. Például leveleket fogadnak, úti dokumentumokat, adatokat cserélnek, jogokat számítanak ki stb. Mindezek a háttértevékenységek körülbelül 90-100 háttérmunkát végeznek. És ez a szerver nagyon erősen le van terhelve - 88%. Ez azonban nem érinti az embereket, és pontosan végrehajtja az összes automatizálást, amit a Dokumentumkezelésnek meg kell tennie.
Milyen mérőszámokkal mérhető a teljesítmény?
Leányvállalatainkba komoly alrendszert építettünk be a teljesítménymutatók mérésére és a különböző mérőszámok számítására. Erre azért van szükség, hogy a jelen pillanatban és történelmi távlatból is megértsük, mi történik a rendszerben, mi romlik, mi javul. Az „1C: Document Flow 8” szabványos szállítása tartalmazza a felügyeleti eszközöket – mérőszámokat és időmérést. A mérőszámok testreszabást igényelnek a megvalósítás során, de maga a mechanizmus szabványos.
A mérőszámok különböző üzleti mutatók mérései bizonyos időpontokban (például az átlagos levélkézbesítési idő 10 perc).
Az egyik mérőszám az adatbázisban lévő aktív felhasználók számát mutatja. Átlagosan 1000-1400 van belőlük napközben. A grafikon azt mutatja, hogy a képernyőkép készítésekor 2144 aktív felhasználó volt az adatbázisban.
Több mint 30 ilyen akció van, a lista a vágás alatt van.Lista
- Belépés
- Kijelentkezés
- Levelek betöltése
- Egy objektum érvényességének megváltoztatása
- Hozzáférési jogok megváltoztatása
- Egy folyamat tárgyának megváltoztatása
- Objektum munkacsoportjának módosítása
- A készlet összetételének megváltoztatása
- Fájl módosítása
- Fájl importálása
- Küldés levélben
- Fájlok mozgatása
- Feladat átirányítása
- Az elektronikus aláírás aláírása
- Keresés részletek alapján
- Teljes szöveges keresés
- Fájl fogadása
- Egy folyamat megszakítása
- felülvizsgálat
- Dekódolás
- Dokumentum regisztráció
- letapogatás
- Törlés jelölésének megszüntetése
- Objektum létrehozása
- Mentés lemezre
- A folyamat kezdete
- Felhasználói naplóbejegyzések törlése
- Elektronikus aláírás eltávolítása
- Törlési jel beállítása
- Titkosítás
- Mappa exportálása
Múltelőtt másfélszeresére nőtt átlagos felhasználói aktivitásunk (a grafikonon pirossal látható) - ez annak köszönhető, hogy a munkavállalók többsége távmunkára tért át (közismert események miatt). Emellett az aktív felhasználók száma háromszorosára nőtt (a képernyőképen kék színnel látható), mivel az alkalmazottak elkezdték aktívan használni a mobiltelefonokat: minden mobil kliens kapcsolatot hoz létre a szerverrel. Most átlagosan minden alkalmazottunknak 3 kapcsolata van a szerverrel.
Számunkra, rendszergazdákként ez azt jelzi, hogy jobban oda kell figyelnünk a teljesítménnyel kapcsolatos problémákra, és meg kell néznünk, nem romlott-e a helyzet. De ezt más paraméterek alapján nézzük. Például, hogyan változik a belső útválasztás levélkézbesítési ideje (az alábbi képernyőképen kék színnel látható). Azt látjuk, hogy az idei évig ingadozott, de most már stabil – számunkra ez azt jelzi, hogy minden rendben van a rendszerrel.
Egy másik alkalmazott mérőszámunk a levelek levelezőszerverről történő letöltésének átlagos várakozási ideje (a képernyőképen pirossal látható). Nagyjából mennyi ideig fog a levél az interneten lebegni, mielőtt munkatársunkhoz eljut. A képernyőképen látható, hogy ez az idő sem változott az utóbbi időben. Vannak elszigetelt kiugrások – de ezek nem késleltetéssel járnak, hanem azzal, hogy elveszik a levelezőszervereken töltött idő.
Vagy például egy másik mérőszám (a képernyőképen kék színnel látható) – a levelek frissítése egy mappában. A levélmappa megnyitása nagyon gyakori művelet, és gyorsan meg kell tenni. Mérjük, hogy milyen gyorsan hajtják végre. Ezt a mutatót minden ügyfélnél mérik. Láthatja a vállalati összképet és a dinamikát is, például egy-egy alkalmazott esetében. A képernyőképen látható, hogy egészen az idei évig kiegyensúlyozatlan volt a mérőszám, majd számos fejlesztést végrehajtottunk, és most sem romlik a helyzet – a grafikon szinte lapos.
A metrikák alapvetően egy rendszergazdai eszköz a rendszer figyelésére, a rendszer viselkedésében bekövetkezett változásokra való gyors reagálásra. A képernyőképen az év belső leányvállalati mutatói láthatók. A grafikonok megugrása annak köszönhető, hogy belső leányvállalatok fejlesztésére kaptunk feladatokat.
Itt van egy lista néhány további mutatóról (a vágás alatt).
Metrikák
- Felhasználói tevékenység
- Aktív felhasználók
- Aktív folyamatok
- Fájlok száma
- Fájlméret (MB)
- Dokumentumok száma
- A címzetteknek elküldendő objektumok száma
- Partnerek száma
- Befejezetlen feladatok
- Átlagos várakozási idő az e-mailek levelezőszerverről történő letöltéséhez az elmúlt 10 percben
- Külső adatpuffer: fájlok száma
- Késő határ az aktuális dátumhoz képest
- Hosszú sor
- Működési sor
- A fiók nyers kora külső útválasztással
- Belső útválasztás elfogadási sor mérete (hosszú sor)
- Belső útválasztás elfogadási sor mérete (gyors sor)
- Levélkézbesítési idő belső útvonalon (hosszú sor)
- Levélkézbesítési idő belső útválasztással (gyors sor)
- Levélkézbesítési idő külső útvonalon (átlag)
- Dokumentumok száma Foglalás
- Dokumentumok száma Hiányzás
- „A szerződő féllel végzett munka nyilvántartása” dokumentumok száma
- Levelezés Levelek frissítése egy mappában
- Levél Levélkártya megnyitása
- Mail Levél átvitele egy mappába
- Mail Navigálás a mappák között
Rendszerünk több mint 150 mutatót mér éjjel-nappal, de nem mindegyiket lehet gyorsan nyomon követni. Később, valamilyen történelmi távlatból jól jöhetnek, és a vállalkozás szempontjából a legfontosabbakra koncentrálhat.
Az egyik megvalósításban például csak 5 mutatót választottak ki. Az ügyfél célul tűzte ki egy minimális mutatókészlet létrehozását, de ugyanakkor úgy, hogy az lefedje a fő munkaforgatókönyveket. Indokolatlan lenne 150 mutató szerepeltetése az átvételi igazolásban, mert még a vállalkozáson belül is nehéz megegyezni abban, hogy mely mutatókat tekintik elfogadhatónak. És tudtak erről az 5 mutatóról, és már a megvalósítási projekt megkezdése előtt bemutatták a rendszernek, belefoglalva a pályázati dokumentációba: a kártya kinyitásának ideje legfeljebb 3 másodperc, egy feladat elvégzésének ideje egy fájlszámmal. több mint 5 másodperc, stb. Leányvállalatainkban olyan mérőszámaink voltak, amelyek nagyon egyértelműen tükrözték az ügyfél műszaki specifikációiból származó eredeti kérést.
A teljesítménymérések profilelemzésével is rendelkezünk. A teljesítménymutatók az egyes folyamatban lévő műveletek időtartamának rögzítését jelentik (levélírás az adatbázisba, levél küldése egy levelezőszervernek stb.). Ezt kizárólag a technikusok használják. Nagyon sok teljesítménymutatót halmozunk fel programunkban. Jelenleg körülbelül 1500 kulcsműveletet mérünk, amelyek profilokra vannak felosztva.
Számunkra az egyik legfontosabb profil a „Mail kulcsfontosságú mutatóinak listája fogyasztói szemszögből”. Ez a profil például a következő mutatókat tartalmazza:
- A parancs végrehajtása: Válasszon címkével
- Űrlap megnyitása: Listaűrlap
- A parancs végrehajtása: Kiválasztás mappa szerint
- Betű megjelenítése az olvasóterületen
- Levél mentése kedvenc mappájába
- Keressen betűket részletek alapján
- Levél létrehozása
Ha azt látjuk, hogy valamelyik üzleti mutató mérőszáma túl nagyra nőtt (például egy adott felhasználó levelei nagyon régóta érkeznek), elkezdjük kitalálni, és rátérünk a technikai műveletek idejének mérésére. Műszaki műveletünk van „Levelek archiválása levelezőszerveren” – úgy látjuk, hogy ennek a műveletnek az ideje túllépte az elmúlt időszakot. Ez a művelet viszont más műveletekre bomlik - például kapcsolat létrehozása egy levelezőszerverrel. Azt látjuk, hogy valamiért hirtelen nagyon nagy lett (egy hónapra minden mérésünk megvan - összehasonlíthatjuk, hogy a múlt héten 10 ezredmásodperc volt, most pedig 1000 ezredmásodperc). És megértjük, hogy itt valami elromlott – meg kell javítanunk.
Hogyan tarthatunk fenn egy ekkora adatbázist?
Belső DO-nk egy igazán működő, nagy terhelésű projekt példája. Beszéljünk az adatbázisának technikai jellemzőiről.
Mennyi ideig tart a nagy adatbázistáblák átstrukturálása?
Az SQL szerver időszakos karbantartást igényel, a táblák rendbetételét. Jó értelemben ezt naponta legalább egyszer meg kell tenni, a nagy igényű asztaloknál pedig még gyakrabban. De ha nagy az adatbázis (és rekordszámunk már meghaladta a 11 milliárdot), akkor nem könnyű gondoskodni róla.
6 évvel ezelőtt csináltunk egy asztal átstrukturálást, de akkor ez olyan sok időt vett igénybe, hogy már nem fértünk bele az éjszakai időközökbe. És mivel ezek a műveletek nagymértékben terhelik az SQL-kiszolgálót, az nem tud hatékonyan kiszolgálni más felhasználókat.
Ezért most különféle trükköket kell bevetnünk. Például nem tudjuk végrehajtani ezeket az eljárásokat teljes adathalmazokon. Az Update Sample 500000 rows eljáráshoz kell folyamodnia – ez 14 percet vesz igénybe. Nem frissíti a statisztikát a táblázat összes adatára vonatkozóan, hanem félmillió sort választ ki, és ezek alapján számítja ki a teljes táblázatra vonatkozó statisztikákat. Ez némi feltételezés, de kénytelenek vagyunk megtenni, mert egy adott táblázat esetében a teljes milliárd rekord statisztikájának összegyűjtése elfogadhatatlanul hosszú ideig tart.
Az egyéb karbantartási műveleteket is részlegessé téve optimalizáltuk.
A DBMS karbantartása általában összetett feladat. Az alkalmazottak közötti aktív interakció esetén az adatbázis gyorsan növekszik, és a rendszergazdák számára egyre nehezebb karbantartani - statisztikák frissítése, töredezettségmentesítés, indexelés. Itt különböző stratégiákat kell alkalmazni, jól tudjuk, hogyan kell ezt csinálni, van tapasztalatunk, meg tudjuk osztani.
Hogyan valósítható meg a biztonsági mentés ilyen köteteknél?
A teljes DBMS biztonsági mentést naponta egyszer hajtják végre éjszaka, egy növekményes biztonsági mentést – óránként. Ezenkívül minden nap létrejön egy fájlkönyvtár, amely a fájltároló növekményes biztonsági másolatának egy része.
Mennyi ideig tart a teljes biztonsági mentés elkészítése?
A teljes biztonsági mentés a merevlemezre három óra alatt, a részleges mentés egy óra alatt készül el. A szalagra írás tovább tart (speciális eszköz, amely az irodán kívül tárolt speciális kazettára készít biztonsági másolatot; a szalagra egy átmásolható másolat készül, amely megőrződik, ha például leég a szerverszoba). A biztonsági mentés pontosan ugyanazon a szerveren készül, amelynek a paraméterei magasabbak voltak - egy 20%-os processzorterhelésű SQL szerveren. A mentéskor természetesen a rendszer sokkal rosszabbá válik, de még mindig működőképes.
Van deduplikáció?
Vannak fájlok, teszteljük magunkon, és hamarosan bekerül a Dokumentumkezelés új verziójába. A partnerek duplikációs mechanizmusát is teszteljük. DBMS-szinten nincs a rekordok duplikációjának megszüntetése, mivel ez nem szükséges. Az 1C:Enterprise platform az objektumokat a DBMS-ben tárolja, és csak a platform lehet felelős azok konzisztenciájáért.
Vannak írásvédett csomópontok?
Nincsenek olvasási csomópontok (dedikált rendszercsomópontok, amelyek azokat szolgálják ki, akiknek bármilyen adatot kell fogadniuk olvasáshoz). A DO nem egy külön BI-csomópontra helyezhető elszámolási rendszer, hanem külön csomópont van a fejlesztési részleg számára, amellyel JSON formátumban történik az üzenetek cseréje, és a tipikus replikációs idő mértékegységek és tíz másodpercek. A csomópont még kicsi, körülbelül 800 millió rekord van benne, de gyorsan növekszik.
A törlésre jelölt e-maileket egyáltalán nem törlik?
Még nem. Nem az a feladatunk, hogy az alapot könnyebbé tegyük. Több igen súlyos eset is volt, amikor törlésre jelölt levelekre kellett hivatkozni, köztük 2009-re is. Ezért döntöttünk úgy, hogy egyelőre mindent megtartunk. De amikor ennek költsége indokolatlan lesz, akkor el kell gondolkodni az eltávolításon. De ha egy külön levelet teljesen el kell távolítania az adatbázisból, hogy ne legyenek nyomok, akkor ezt külön kérésre megteheti.
Miért kell tárolni? Van statisztikája a régi dokumentumokhoz való hozzáférésről?
Nincsenek statisztikák. Pontosabban felhasználói napló formájában van, de nem tárolják sokáig. Az egy évnél régebbi bejegyzések törlődnek a jegyzőkönyvből.
Voltak helyzetek, amikor régi, öt vagy akár tíz évvel ezelőtti levelezést kellett előkeresni. És ezt mindig nem tétlen kíváncsiságból tették, hanem bonyolult üzleti döntések meghozatala érdekében. Volt olyan eset, amikor levelezési előzmények nélkül rossz üzleti döntés született volna.
Hogyan történik a dokumentumok értékének meghatározása és megsemmisítése a tárolási idők szerint?
A papíralapú dokumentumok esetében ez a szokásos hagyományos módon történik, mint mindenki más. Nem az elektronikus készülékekért tesszük – hagyják, hogy megtartsák maguknak. Itt van az ülés. Vannak előnyei. Mindenki jól van.
Milyen fejlesztési kilátások vannak?
Most DO-nk körülbelül 30 belső problémát old meg, amelyek közül néhányat a cikk elején felsoroltunk. A DL-t arra is használják, hogy konferenciákat készítsünk, amelyeket évente kétszer tartunk partnereink számára: a teljes programot, az összes beszámolót, az összes párhuzamos szekciót, termet - mindezt a DL-be begépeljük, majd onnan letöltjük, és egy nyomtatott programot. készül.
A DO-nak számos további feladata van azokon kívül, amelyeket már megold. Vannak vállalati szintű feladatok, és vannak egyedi és ritka feladatok, amelyekre csak egy adott részlegnek van szüksége. Segíteni kell nekik, ami a rendszer használatának „földrajzának” kiterjesztését jelenti az 1C-n belül - az alkalmazási kör kiterjesztését, az összes osztály problémáinak megoldását. Ez lenne a legjobb teszt a teljesítmény és a megbízhatóság szempontjából. Szeretném, ha a rendszer több billió rekordon, petabájtnyi információn működne.
Forrás: will.com