Käytämme 1C:llä laajasti omaa kehitystämme yrityksen työn organisointiin. Erityisesti, . Asiakirjanhallinnan (kuten nimestä voi päätellä) lisäksi se on myös moderni -järjestelmä (Enterprise Content Management - yrityksen sisällönhallinta), jossa on laaja valikoima toimintoja - sähköposti, työntekijöiden työkalenterit, jaetun pääsyn järjestäminen resursseihin (esim. kokoushuoneiden varaus), ajan seuranta, yritysfoorumi ja paljon muuta.
Yli tuhat työntekijää käyttää dokumenttien hallintaa 1C:ssä. Tietokannasta on tullut jo vaikuttava (11 miljardia tietuetta), mikä tarkoittaa, että se vaatii huolellisempaa hoitoa ja tehokkaampia laitteita.
Kuinka järjestelmämme toimii, mitä vaikeuksia kohtaamme tietokannan ylläpidossa ja kuinka ratkaisemme ne (käytämme MS SQL Serveriä tietokantajärjestelmänä) - kerromme sinulle artikkelissa.
Niille, jotka lukevat 1C-tuotteista ensimmäistä kertaa.
1C:Document Flow on sovellusratkaisu (konfiguraatio), joka on toteutettu yrityssovellusten kehittämiskehyksen - 1C:Enterprise -alustan pohjalta.
"1C: Document Flow 8" (lyhennettynä DO) antaa sinun automatisoida asiakirjojen käsittelyn yrityksessä. Yksi tärkeimmistä työntekijöiden vuorovaikutuksen työkaluista on sähköposti. Postin lisäksi DO ratkaisee myös muita ongelmia:
- Ajan seuranta
- Työntekijöiden poissaolojen seuranta
- Hakemukset kuriireille/kuljetukselle
- Työntekijöiden työkalenterit
- Kirjeenvaihdon rekisteröinti
- Työntekijän yhteystiedot (osoitekirja)
- Yritysfoorumi
- Huonevaraus
- Tapahtumasuunnittelu
- CRM
- Ryhmätyö tiedostojen kanssa (tiedostoversioiden tallennuksella)
- jne.
Siirrymme asiakirjahallintaan (natiivi suoritettava sovellus) Windowsista, Linuxista, macOS:stä, (selaimista) ja - tilanteesta riippuen.
Ja kiitos muun tuotteemme, joka on yhdistetty Document Flowiin - – vastaanotamme suoraan Document Flow'ssa messengerin toiminnot – chatit, ääni- ja videopuhelut (mukaan lukien ryhmäpuhelut, joista nyt on tullut erityisen tärkeitä, myös mobiiliasiakassovelluksesta), nopea tiedostojen vaihto sekä mahdollisuus kirjoittaa chat-botteja, jotka yksinkertaistavat työskennellä järjestelmän kanssa. Toinen vuorovaikutusjärjestelmän käytön etu (verrattuna muihin lähettiläisiin) on kyky käydä asiayhteyteen perustuvia keskusteluja, jotka on sidottu tiettyihin Document Flow -objekteihin - asiakirjoihin, tapahtumiin jne. Toisin sanoen vuorovaikutusjärjestelmä on syvästi integroitu kohdesovellukseen, eikä se toimi vain "erillisenä painikkeena".
Kirjainten määrä DO:ssamme on jo ylittänyt 100 miljoonaa, ja yleisesti ottaen DBMS:ssä on yli 11 miljardia tietuetta. Yhteensä järjestelmä käyttää lähes 30 TB tallennustilaa: tietokannan tilavuus on 7,5 TB, ryhmätyön tiedostot tallennetaan erikseen ja vievät vielä 21 TB.
Jos puhumme tarkemmista numeroista, tässä on kirjainten ja tiedostojen määrä tällä hetkellä:
- Lähtevät sähköpostit – 14,7 miljoonaa.
- Saapuvat kirjeet – 85,4 miljoonaa.
- Tiedostoversiot – 70,8 miljoonaa.
- Sisäiset asiakirjat - 30,6 tuhatta.
DO:ssa on muutakin kuin vain postia ja tiedostoja. Alla on luvut muista kirjanpitokohteista:
- Kokoushuoneiden varaus – 52 126
- Viikkoraportit – 153 940
- Päivittäiset raportit – 628 153
- Hyväksyttävä viisumi – 11 821
- Saapuvat asiakirjat – 79 677
- Lähtevät asiakirjat – 28 357
- Tapahtumia koskevat merkinnät käyttäjien työkalentereissa – 168 228
- Kuriirihakemukset – 21 883
- Vastapuolet – 81 029
- Vastapuolten kanssa tehdyt työt – 45 632
- Vastapuolten yhteyshenkilöt – 41 795
- Tapahtumat – 10 243
- Projektit – 6 320
- Työntekijätehtävät – 245 980
- Foorumiviestit – 26 282
- Chat-viestit – 891 095
- Liiketoimintaprosessit - 109 056. Työntekijöiden välinen vuorovaikutus tapahtuu prosessien kautta - hyväksyminen, toteutus, tarkistus, rekisteröinti, allekirjoittaminen jne. Mittaamme prosessien kestoa, syklien määrää, osallistujamäärää, palautusten määrää, määräaikojen muutospyyntöjen määrää. Ja tämä tieto on erittäin hyödyllistä analysoida, jotta voidaan ymmärtää, mitä prosesseja yrityksessä tapahtuu, ja lisätä työntekijöiden yhteistyön tehokkuutta.
Millä laitteilla käsittelemme tämän kaiken?
Nämä luvut kertovat vaikuttavasta työmäärästä, joten jouduimme kohdentamaan varsin tuottavia laitteita sisäisten tytäryhtiöiden tarpeisiin. Tällä hetkellä sen ominaisuudet ovat seuraavat: 38 ydintä, 240 Gt RAM-muistia, 26 Tt levyjä. Tässä on taulukko palvelimista:
Jatkossa aiomme lisätä laitteiden kapasiteettia.
Miten palvelimen kuormituksen kanssa menee?
Verkkotoiminta ei ole koskaan ollut ongelma meille tai asiakkaillemme. Yleensä heikko kohta on prosessori ja levyt, koska kaikki tietävät jo kuinka käsitellä muistin puutetta. Tässä on kuvakaappauksia palvelimistamme Resource Monitorista, jotka osoittavat, että meillä ei ole kauheaa kuormitusta, se on erittäin vaatimaton.
Esimerkiksi alla olevassa kuvakaappauksessa näemme SQL-palvelimen, jossa suorittimen kuormitus on 23%. Ja tämä on erittäin hyvä indikaattori (vertailun vuoksi: jos kuormitus lähestyy 70%, niin todennäköisesti työntekijät havaitsevat melko merkittäviä työn hidastumista).
Toinen kuvakaappaus näyttää sovelluspalvelimen, jolla 1C:Enterprise-alusta toimii - se palvelee vain käyttäjien istuntoja. Täällä prosessorin kuormitus on hieman korkeampi - 38%, se on sileä ja rauhallinen. Levyä latautuu jonkin verran, mutta se on hyväksyttävää.
Kolmas kuvakaappaus näyttää toisen 1C:Enterprise-palvelimen (se on toinen, meillä on kaksi niistä klusterissa). Vain edellinen palvelee käyttäjiä, ja robotit toimivat tällä. He esimerkiksi vastaanottavat postia, reitittävät asiakirjoja, vaihtavat tietoja, laskevat oikeuksia jne. Kaikki nämä taustatoiminnot tekevät noin 90-100 taustatyötä. Ja tämä palvelin on erittäin raskaasti kuormitettu - 88%. Mutta tämä ei vaikuta ihmisiin, ja se toteuttaa täsmälleen kaiken automaation, joka asiakirjahallinnan pitäisi tehdä.
Millä mittareilla suorituskykyä mitataan?
Tytäryhtiöihimme on rakennettu vakava alijärjestelmä suoritusindikaattoreiden mittaamiseen ja erilaisten mittareiden laskemiseen. Tämä on välttämätöntä, jotta voidaan ymmärtää sekä nykyhetkellä että historiallisesta näkökulmasta, mitä järjestelmässä tapahtuu, mikä pahenee, mikä paranee. Valvontatyökalut - metriikka ja aikamittaukset - sisältyvät "1C: Document Flow 8" -toimitukseen. Mittarit vaativat mukauttamista käyttöönoton aikana, mutta itse mekanismi on vakio.
Mittarit ovat eri liiketoimintaindikaattoreiden mittauksia tietyllä hetkellä (esimerkiksi postin keskimääräinen toimitusaika on 10 minuuttia).
Yksi mittareista näyttää tietokannan aktiivisten käyttäjien määrän. Niitä on päivän aikana keskimäärin 1000-1400. Kaavio osoittaa, että kuvakaappaushetkellä tietokannassa oli 2144 aktiivista käyttäjää.
Tällaisia toimintoja on yli 30, luettelo on leikkauksen alla.Lista
- jäsenkirjautuminen
- Kirjaudu ulos
- Ladataan postia
- Objektin voimassaolon muuttaminen
- Käyttöoikeuksien muuttaminen
- Prosessin aiheen vaihtaminen
- Objektin työryhmän muuttaminen
- Sarjan koostumuksen muuttaminen
- Tiedoston muuttaminen
- Tiedoston tuonti
- Lähetys postitse
- Tiedostojen siirtäminen
- Tehtävän uudelleenohjaus
- Sähköisen allekirjoituksen allekirjoittaminen
- Hae tiedoilla
- Koko tekstihaku
- Tiedoston vastaanottaminen
- Prosessin keskeyttäminen
- Просмотр
- Salauksen purku
- Asiakirjan rekisteröinti
- skannata
- Poistetaan poistomerkintä
- Objektin luominen
- Tallentaminen levylle
- Prosessin aloitus
- Käyttäjälokimerkintöjen poistaminen
- Sähköisen allekirjoituksen poistaminen
- Poistomerkin asettaminen
- Salaus
- Vie kansio
Toisella viikolla keskimääräinen käyttäjäaktiivisuutemme kasvoi puolitoista kertaa (näkyy kaaviossa punaisella) - tämä johtuu useimpien työntekijöiden siirtymisestä etätöihin (tunnetuista tapahtumista). Myös aktiivisten käyttäjien määrä kasvoi 3-kertaiseksi (näkyy kuvakaappauksessa sinisellä), kun työntekijät alkoivat käyttää aktiivisesti matkapuhelimia: jokainen mobiiliasiakas luo yhteyden palvelimeen. Nyt jokaisella työntekijällämme on keskimäärin 2 yhteyttä palvelimeen.
Meille järjestelmänvalvojille tämä on merkki siitä, että meidän on kiinnitettävä enemmän huomiota suorituskykyongelmiin ja katsottava, ovatko asiat pahentuneet. Mutta katsomme tätä muiden parametrien perusteella. Esimerkiksi kuinka sisäisen reitityksen postin toimitusaika muuttuu (näkyy sinisellä alla olevassa kuvakaappauksessa). Näemme, että se vaihteli tähän vuoteen asti, mutta nyt se on vakaa - meille tämä on osoitus siitä, että järjestelmässä on kaikki kunnossa.
Toinen meille sovellettu mittari on keskimääräinen odotusaika kirjeiden lataamiseen sähköpostipalvelimelta (näkyy kuvakaappauksessa punaisena). Karkeasti sanottuna kuinka kauan kirje leijuu Internetissä ennen kuin se saavuttaa työntekijämme. Kuvakaappaus osoittaa, että tämä aika ei myöskään ole muuttunut millään tavalla viime aikoina. On olemassa yksittäisiä piikkejä - mutta ne eivät liity viiveisiin, vaan siihen, että sähköpostipalvelimilla oleva aika katoaa.
Tai esimerkiksi toinen mittari (näkyy kuvakaappauksessa sinisenä) - kansion kirjainten päivittäminen. Postikansion avaaminen on hyvin yleinen toimenpide, ja se on tehtävä nopeasti. Mittaamme kuinka nopeasti se suoritetaan. Tämä indikaattori mitataan jokaiselle asiakkaalle. Näet sekä yrityksen kokonaiskuvan että dynamiikan esimerkiksi yksittäisen työntekijän osalta. Kuvakaappaus osoittaa, että tähän vuoteen asti mittari oli epätasapainossa, sitten teimme useita parannuksia, ja nyt se ei ole pahentunut - kaavio on melkein tasainen.
Mittarit ovat pohjimmiltaan järjestelmänvalvojan työkalu järjestelmän valvontaan, nopeaan reagoimiseen järjestelmän toiminnan muutoksiin. Kuvakaappaus näyttää tytäryhtiöiden sisäiset tiedot vuodelta. Hyppy kaavioissa johtuu siitä, että saimme tehtäviä kehittää sisäisiä tytäryhtiöitä.
Tässä on luettelo muutamista mittareista (leikkauksen alla).
Mittarit
- Käyttäjien toiminta
- Aktiiviset käyttäjät
- Aktiiviset prosessit
- Tiedostojen lukumäärä
- Tiedoston koko (MB)
- Asiakirjojen lukumäärä
- Vastaanottajille lähetettävien kohteiden määrä
- Vastapuolten lukumäärä
- Keskeneräisiä tehtäviä
- Keskimääräinen odotusaika sähköpostien lataamiseen sähköpostipalvelimelta viimeisen 10 minuutin aikana
- Ulkoinen datapuskuri: tiedostojen määrä
- Viivästynyt raja nykyisestä päivämäärästä
- Pitkä jono
- Toiminnallinen jono
- Raaka tilin ikä ulkoisen reitityksen mukaan
- Sisäisen reitityksen hyväksymisjonon koko (pitkä jono)
- Sisäisen reitityksen hyväksymisjonon koko (nopea jono)
- Postin toimitusaika sisäisen reitityksen kautta (pitkä jono)
- Postin toimitusaika sisäisen reitityksen kautta (nopea jono)
- Postin toimitusaika ulkoisen reitityksen kautta (keskimääräinen)
- Asiakirjojen määrä Varaus
- Asiakirjojen lukumäärä Poissaolo
- Asiakirjojen lukumäärä "Tieto työstä vastapuolen kanssa"
- Sähköposti Päivitä kansion kirjeet
- Posti Kirjekortin avaaminen
- Posti Siirrä kirje kansioon
- Sähköposti Selaa kansioita
Järjestelmämme mittaa yli 150 indikaattoria ympäri vuorokauden, mutta kaikkia ei voida seurata nopeasti. Niistä voi olla hyötyä myöhemmin, jossain historiallisessa perspektiivissä, ja voit keskittyä liiketoiminnan kannalta tärkeimpiin.
Esimerkiksi yhdessä toteutuksessa valittiin vain 5 indikaattoria. Asiakas asetti tavoitteeksi luoda vähimmäisindikaattoreita, mutta samalla sellaisia, että se kattaa tärkeimmät työskenaariot. 150 indikaattorin sisällyttäminen vastaanottotodistukseen ei olisi perusteltua, koska yrityksen sisälläkin on vaikea sopia, mitkä tunnusluvut katsotaan hyväksyttäviksi. Ja he tiesivät näistä viidestä indikaattorista ja olivat jo esittäneet ne järjestelmälle ennen toteutusprojektin alkua, sisällyttäen ne kilpailudokumentaatioon: aika avata kortti enintään 5 sekuntia, aika suorittaa tehtävä tiedostolla nro yli 3 sekuntia jne. Tytäryhtiöissämme oli mittareita, jotka heijastivat erittäin selvästi asiakkaan teknisistä tiedoista alkuperäistä pyyntöä.
Meillä on myös suorituskykymittausten profiilianalyysi. Suorituskykyindikaattorit ovat tallenteita kunkin käynnissä olevan toiminnon kestosta (kirjeen kirjoittaminen tietokantaan, kirjeen lähettäminen sähköpostipalvelimelle jne.). Tätä käyttävät vain teknikot. Keräämme ohjelmaamme paljon suoritusindikaattoreita. Tällä hetkellä mittaamme noin 1500 avaintoimintoa, jotka on jaettu profiileihin.
Yksi tärkeimmistä profiileista meille on "Postin avainindikaattoreiden luettelo kuluttajan näkökulmasta". Tämä profiili sisältää esimerkiksi seuraavat indikaattorit:
- Komennon suorittaminen: Valitse tunnisteen mukaan
- Lomakkeen avaaminen: Luettelolomake
- Komennon suorittaminen: Valitse kansion mukaan
- Kirjaimen näyttäminen lukualueella
- Kirjeen tallentaminen suosikkikansioosi
- Etsi kirjaimia tietojen perusteella
- Kirjeen luominen
Jos näemme, että jonkin liiketoimintaindikaattorin mittari on kasvanut liian suureksi (esimerkiksi tietyn käyttäjän kirjeitä on alkanut saapua hyvin pitkään), alamme selvittää sitä ja siirrymme teknisten toimintojen ajan mittaamiseen. Meillä on tekninen toimenpide "Kirjeiden arkistointi postipalvelimelle" - näemme, että tämän toiminnon aika on ylittynyt viime kaudella. Tämä toiminto puolestaan hajoaa muihin toimintoihin - esimerkiksi yhteyden muodostamiseen sähköpostipalvelimeen. Näemme, että jostain syystä se on yhtäkkiä tullut erittäin suureksi (meillä on kaikki mittaukset kuukauden ajalta - voimme verrata, että viime viikolla se oli 10 millisekuntia ja nyt se on 1000 millisekuntia). Ja ymmärrämme, että täällä on jotain rikki - meidän on korjattava se.
Miten ylläpidämme näin suurta tietokantaa?
Sisäinen DO on esimerkki todella toimivasta suuren kuormituksen projektista. Puhutaanpa sen tietokannan teknisistä ominaisuuksista.
Kuinka kauan suurten tietokantataulukoiden uudelleenjärjestely kestää?
SQL-palvelin vaatii säännöllistä huoltoa ja taulukoiden järjestämistä. Hyvällä tavalla tämä tulisi tehdä vähintään kerran päivässä ja vielä useammin suuren kysynnän pöydissä. Mutta jos tietokanta on suuri (ja tietueiden määrä on jo ylittänyt 11 miljardia), sen hoitaminen ei ole helppoa.
Teimme pöytärakenteen uudelleenjärjestelyn 6 vuotta sitten, mutta sitten se alkoi viedä niin paljon aikaa, että emme enää mahtuneet iltaväleihin. Ja koska nämä toiminnot kuormittavat voimakkaasti SQL-palvelinta, se ei voi palvella tehokkaasti muita käyttäjiä.
Siksi meidän on nyt käytettävä erilaisia temppuja. Emme voi esimerkiksi suorittaa näitä toimenpiteitä täydellisille tietojoukoille. Sinun on turvauduttava Update Sample 500000 rows -menettelyyn - tämä kestää 14 minuuttia. Se ei päivitä tilastoja kaikista taulukon tiedoista, vaan valitsee puoli miljoonaa riviä ja laskee niiden perusteella käyttämänsä tilastot koko taulukosta. Tämä on jonkinlainen oletus, mutta meidän on pakko tehdä se, koska tietyn taulukon osalta tilastojen kerääminen koko miljardista tietueesta kestää kohtuuttoman kauan.
Optimoimme myös muita huoltotoimenpiteitä tekemällä niistä osittaisia.
DBMS:n ylläpito on yleensä vaikea tehtävä. Työntekijöiden välisessä aktiivisessa vuorovaikutuksessa tietokanta kasvaa nopeasti, ja ylläpitäjien on yhä vaikeampaa ylläpitää sitä - tilastojen päivittäminen, eheyttäminen, indeksointi. Täällä meidän on sovellettava erilaisia strategioita, tiedämme hyvin, miten tämä tehdään, meillä on kokemusta, voimme jakaa sen.
Miten varmuuskopiointi toteutetaan tällaisilla määrillä?
Täysi DBMS-varmuuskopiointi suoritetaan kerran päivässä yöllä, inkrementaalinen - joka tunti. Lisäksi tiedostohakemisto luodaan joka päivä, ja se on osa tiedostojen tallennustilan inkrementaalista varmuuskopiota.
Kuinka kauan täydellisen varmuuskopion tekeminen kestää?
Täysi varmuuskopiointi kiintolevylle valmistuu kolmessa tunnissa, osittainen varmuuskopiointi tunnissa. Nauhalle kirjoittaminen kestää kauemmin (erityinen laite, joka tekee varmuuskopion toimiston ulkopuolella säilytettävälle erikoiskasetille; nauhalle tehdään siirrettävä kopio, joka säilyy, jos esimerkiksi palvelinhuone palaa). Varmuuskopiointi tehdään täsmälleen samalle palvelimelle, jonka parametrit olivat korkeammat - SQL-palvelin 20% prosessorikuormalla. Varmuuskopioinnin aikana järjestelmä tietysti huononee paljon, mutta se on edelleen toimiva.
Onko deduplikaatiota?
Tiedostoja on, testaamme niitä itsellämme, ja pian se sisällytetään dokumenttienhallinnan uuteen versioon. Testaamme myös vastapuolen päällekkäisyyden poistamismekanismia. Tietueiden päällekkäisyyttä ei poisteta DBMS-tasolla, koska tämä ei ole välttämätöntä. 1C:Enterprise-alusta tallentaa objektit DBMS:ään, ja vain alusta voi olla vastuussa niiden johdonmukaisuudesta.
Onko olemassa vain luku -solmuja?
Lukusolmuja ei ole (omistettuja järjestelmäsolmuja, jotka palvelevat niitä, jotka tarvitsevat tietoja lukemista varten). DO ei ole erilliseen BI-solmuun laitettavaa kirjanpitojärjestelmää, vaan kehitysosastolle on erillinen solmu, jonka kanssa vaihdetaan viestejä JSON-muodossa ja tyypillinen replikointiaika on yksikköä ja kymmeniä sekunteja. Solmu on vielä pieni, sillä on noin 800 miljoonaa tietuetta, mutta se kasvaa nopeasti.
Eikö poistettavaksi merkittyjä sähköposteja poisteta ollenkaan?
Ei vielä. Meillä ei ole tehtävänä tehdä pohjasta kevyempi. Useita varsin vakavia tapauksia, joissa oli pakko viitata poistettavaksi merkittyihin kirjaimiin, mukaan lukien vuosi 2009. Siksi päätimme pitää kaiken toistaiseksi. Mutta kun tämän kustannukset ovat perusteettomia, harkitsemme poistamista. Mutta jos sinun on poistettava erillinen kirje tietokannasta kokonaan, jotta jälkiä ei ole, tämä voidaan tehdä erityisestä pyynnöstä.
Miksi säilyttää? Onko sinulla tilastoja vanhojen asiakirjojen saatavuudesta?
Ei ole tilastoja. Tarkemmin sanottuna se on käyttäjälokin muodossa, mutta sitä ei säilytetä pitkään. Yli vuotta vanhemmat merkinnät poistetaan protokollasta.
Oli tilanteita, jolloin piti hakea vanhaa viiden tai jopa kymmenen vuoden takaista kirjeenvaihtoa. Ja tätä ei aina tehty tyhjästä uteliaisuudesta, vaan monimutkaisten liiketoimintapäätösten tekemiseksi. Oli tapaus, jossa ilman kirjeenvaihtohistoriaa olisi tehty väärä liikepäätös.
Miten asiakirjojen arvo arvioidaan ja tuhotaan säilytysaikojen mukaan?
Paperiasiakirjoissa tämä tehdään tavalliseen perinteiseen tapaan, kuten kaikki muutkin. Emme tee sitä sähköisille - anna heidän pitää ne itselleen. Istunto on täällä. On etuja. Kaikki voivat hyvin.
Millaisia kehitysnäkymiä on?
Nyt DO ratkaisee noin 30 sisäistä ongelmaa, joista osan luettelemme artikkelin alussa. DL:n avulla valmistetaan myös konferensseja, jotka järjestämme kahdesti vuodessa kumppaneillemme: koko ohjelma, kaikki raportit, kaikki rinnakkaisosuudet, salit - kaikki tämä kirjoitetaan DL:ään, ladataan siitä ja tulostetaan ohjelma. on tehty.
DO:lla on matkalla useita muita tehtäviä niiden lisäksi, joita se jo ratkaisee. On yrityksen laajuisia tehtäviä, ja on ainutlaatuisia ja harvinaisia, joita vain tietty osasto tarvitsee. Heitä on autettava, mikä tarkoittaa järjestelmän käytön "maantieteen" laajentamista 1C: ssä - sovellusalueen laajentamista, kaikkien osastojen ongelmien ratkaisemista. Tämä olisi paras suorituskyvyn ja luotettavuuden testi. Haluaisin nähdä järjestelmän toimivan biljoonilla tietueilla, petabtavuilla tietoa.
Lähde: will.com