V 1C široko uporabljamo lasten razvoj za organizacijo dela podjetja. Še posebej, . Poleg upravljanja dokumentov (kot že ime pove) je tudi sodoben -sistem (Enterprise Content Management - korporativno upravljanje vsebin) s široko paleto funkcionalnosti - pošta, delovni koledarji zaposlenih, organiziranje skupnega dostopa do virov (na primer rezervacija sejnih sob), sledenje časa, korporativni forum in še veliko več.
Več kot tisoč zaposlenih uporablja upravljanje dokumentov v 1C. Baza podatkov je že postala impresivna (11 milijard zapisov), kar pomeni, da zahteva skrbnejšo nego in zmogljivejšo opremo.
Kako deluje naš sistem, na kakšne težave se srečujemo pri vzdrževanju baze podatkov in kako jih rešujemo (uporabljamo MS SQL Server kot DBMS) - vam bomo povedali v članku.
Za tiste, ki prvič berete o izdelkih 1C.
1C:Dokumentni tok je aplikativna rešitev (konfiguracija), implementirana na osnovi ogrodja za razvoj poslovnih aplikacij - platforme 1C:Enterprise.
"1C: Document Flow 8" (skrajšano DO) vam omogoča avtomatizacijo dela z dokumenti v podjetju. Eno glavnih orodij za interakcijo zaposlenih je elektronska pošta. Poleg pošte DO rešuje tudi druge težave:
- Sledenje času
- Sledenje odsotnosti zaposlenih
- Prijave za kurirje/prevoznike
- Delovni koledarji zaposlenih
- Registracija korespondence
- Kontakti zaposlenih (Imenik)
- Poslovni forum
- Rezervacija sobe
- Načrtovanje dogodka
- CRM
- Kolektivno delo z datotekami (s shranjevanjem različic datotek)
- itd
Vstopimo v Upravljanje dokumentov (izvorna izvršljiva aplikacija) iz Windows, Linux, macOS, (iz brskalnikov) in - odvisno od situacije.
In zahvaljujoč našemu drugemu izdelku, povezanemu s tokom dokumentov - – neposredno v Document Flow prejmemo funkcionalnost messengerja – klepete, avdio in video klice (vključno s skupinskimi klici, ki so zdaj postali še posebej pomembni, tudi iz mobilnega odjemalca), hitro izmenjavo datotek in možnost pisanja klepetalnih botov, ki poenostavijo delo s sistemom. Druga prednost uporabe Interaction System (v primerjavi z drugimi messengerji) je možnost vodenja kontekstualnih razprav, vezanih na določene objekte Document Flow - dokumente, dogodke itd. To pomeni, da je Interaction System globoko integriran s ciljno aplikacijo in ne deluje le kot »ločen gumb«.
Število črk v našem DO je že preseglo 100 milijonov, na splošno pa je v DBMS več kot 11 milijard zapisov. Skupaj sistem uporablja skoraj 30 TB prostora za shranjevanje: prostornina baze podatkov je 7,5 TB, datoteke za skupno delo so shranjene ločeno in zasedajo še 21 TB.
Če govorimo o bolj konkretnih številkah, je tukaj število pisem in datotek v tem trenutku:
- Odhodna elektronska sporočila – 14,7 milijona.
- Dohodna pisma – 85,4 milijona.
- Različice datotek – 70,8 milijona.
- Notranji dokumenti - 30,6 tisoč.
DO ima več kot le pošto in datoteke. Spodaj so številke za druge računovodske predmete:
- Rezervacije sejnih sob – 52
- Tedenska poročila – 153
- Dnevna poročila – 628
- Vizumi za odobritev – 11
- Vhodni dokumenti – 79
- Izhodni dokumenti – 28
- Vnosi o dogodkih v delovne koledarje uporabnikov – 168
- Prijave za kurirje – 21
- Nasprotne stranke – 81
- Evidence dela z nasprotnimi strankami – 45
- Kontaktne osebe nasprotnih strank – 41
- Dogodki – 10
- Projekti – 6
- Naloge zaposlenih – 245
- Objave na forumu – 26
- Sporočila v klepetu – 891 095
- Poslovni procesi - 109 056. Interakcija med zaposlenimi poteka skozi procese - odobritev, izvedba, pregled, registracija, podpis itd. Merimo trajanje procesov, število ciklov, število udeležencev, število vračil, število zahtevkov za spremembo rokov. Te informacije je zelo koristno analizirati, da bi razumeli, kateri procesi potekajo v podjetju in povečali učinkovitost sodelovanja zaposlenih.
Na kateri opremi vse to obdelujemo?
Te številke kažejo na impresiven obseg nalog, zato smo se soočili s potrebo po dodelitvi dokaj produktivne opreme za potrebe notranjih podružnic. Trenutno ima naslednje značilnosti: 38 jeder, 240 GB RAM-a, 26 TB diskov. Tukaj je tabela strežnikov:
V prihodnosti načrtujemo povečanje zmogljivosti opreme.
Kako je z obremenitvijo strežnika?
Aktivnost v omrežju ni bila nikoli problem za nas ali naše stranke. Šibka točka so praviloma procesor in diski, saj vsi že vedo, kako se spopasti s pomanjkanjem pomnilnika. Tukaj so posnetki zaslona naših strežnikov iz Resource Monitorja, ki kažejo, da nimamo strašne obremenitve, je zelo skromna.
Na spodnjem posnetku zaslona na primer vidimo strežnik SQL, kjer je obremenitev procesorja 23 %. In to je zelo dober kazalnik (za primerjavo: če se obremenitev približa 70%, potem bodo zaposleni najverjetneje opazili precejšnje upočasnitve dela).
Drugi posnetek zaslona prikazuje aplikacijski strežnik, na katerem teče platforma 1C:Enterprise – služi samo uporabniškim sejam. Tukaj je obremenitev procesorja nekoliko višja - 38%, je gladka in mirna. Obstaja nekaj nalaganja diska, vendar je sprejemljivo.
Tretji posnetek zaslona prikazuje še en strežnik 1C:Enterprise (to je drugi, v gruči imamo dva). Samo prejšnji služi uporabnikom, na tem pa delajo roboti. Prejemajo na primer pošto, potovalne dokumente, izmenjujejo podatke, obračunavajo pravice itd. Vse te dejavnosti v ozadju izvajajo približno 90–100 opravil v ozadju. In ta strežnik je zelo obremenjen - 88%. Vendar to ne vpliva na ljudi in izvaja natanko vso avtomatizacijo, ki bi jo moralo izvajati upravljanje dokumentov.
Kakšne so metrike za merjenje uspešnosti?
V hčerinskih družbah imamo vgrajen resen podsistem za merjenje kazalnikov uspešnosti in izračun različnih metrik. To je potrebno, da tako v sedanjem trenutku kot iz zgodovinske perspektive razumemo, kaj se v sistemu dogaja, kaj slabša, kaj se izboljšuje. Orodja za spremljanje - metrike in časovne meritve - so vključena v standardno dobavo "1C: Document Flow 8". Meritve zahtevajo prilagajanje med izvajanjem, vendar je sam mehanizem standarden.
Metrike so meritve različnih kazalnikov poslovanja v določenih časovnih točkah (npr. povprečni čas dostave pošte je 10 minut).
Ena od metrik prikazuje število aktivnih uporabnikov v bazi podatkov. Povprečno jih je čez dan 1000-1400. Graf prikazuje, da je bilo v času posnetka zaslona v bazi podatkov 2144 aktivnih uporabnikov.
Takih dejanj je več kot 30, seznam je pod rezom.Seznam
- Prijava v sistem
- Odjava
- Nalaganje pošte
- Spreminjanje veljavnosti objekta
- Spreminjanje pravic dostopa
- Spreminjanje predmeta postopka
- Spreminjanje delovne skupine objekta
- Spreminjanje sestave kompleta
- Spreminjanje datoteke
- Uvoz datoteke
- Pošiljanje po pošti
- Premikanje datotek
- Preusmerjanje naloge
- Podpisovanje elektronskega podpisa
- Iskanje po podrobnostih
- Iskanje po celotnem besedilu
- Prejemanje datoteke
- Prekinitev postopka
- pregled
- Dešifriranje
- Registracija dokumenta
- Optično branje
- Odznačevanje izbrisa
- Ustvarjanje predmeta
- Shranjevanje na disk
- Začetek postopka
- Brisanje vnosov v uporabniški dnevnik
- Odstranitev elektronskega podpisa
- Nastavitev oznake za izbris
- Šifriranje
- Izvozite mapo
Predprejšnji teden se nam je povprečna uporabniška aktivnost povečala za 3-krat in pol (na grafu prikazano rdeče) – to je posledica prehoda večine zaposlenih na delo na daljavo (zaradi znanih dogodkov). Prav tako se je število aktivnih uporabnikov povečalo za 2-krat (prikazano modro na posnetku), saj so zaposleni začeli aktivno uporabljati mobilne telefone: vsak mobilni odjemalec ustvari povezavo s strežnikom. Zdaj ima vsak naš zaposleni v povprečju XNUMX povezavi na strežnik.
Za nas kot skrbnike je to znak, da moramo biti bolj pozorni na težave z zmogljivostjo in ugotoviti, ali so se stvari poslabšale. Ampak to gledamo na podlagi drugih parametrov. Na primer, kako se spremeni čas dostave pošte za interno usmerjanje (prikazano modro na spodnjem posnetku zaslona). Vidimo, da je do letos nihala, zdaj pa je stabilna – za nas je to pokazatelj, da je s sistemom vse v redu.
Druga uporabljena metrika za nas je povprečni čakalni čas za prenos pisem s poštnega strežnika (prikazano rdeče na posnetku zaslona). Grobo povedano, kako dolgo bo pismo plavalo po internetu, preden bo prišlo do našega zaposlenega. Posnetek zaslona kaže, da se tudi ta čas v zadnjem času ni spremenil na noben način. Obstajajo posamezni skoki - vendar niso povezani z zamudami, ampak z dejstvom, da se čas na poštnih strežnikih izgubi.
Ali na primer druga metrika (na posnetku zaslona modra) – posodabljanje črk v mapi. Odpiranje poštne mape je zelo pogosta operacija, ki jo je treba izvesti hitro. Merimo, kako hitro se izvede. Ta indikator se meri za vsako stranko. Vidite lahko tako celotno sliko za podjetje kot dinamiko, na primer za posameznega zaposlenega. Iz posnetka zaslona je razvidno, da je bila metrika do letos neuravnotežena, nato smo naredili številne izboljšave, zdaj pa ne gre nič slabše – graf je skoraj raven.
Metrike so v bistvu skrbniško orodje za spremljanje sistema, za hitro odzivanje na morebitne spremembe v obnašanju sistema. Posnetek zaslona prikazuje notranje meritve podružnice za leto. Skok na grafih je posledica dejstva, da smo dobili naloge za razvoj notranjih hčerinskih družb.
Tukaj je seznam nekaterih drugih meritev (pod rezom).
Metrike
- Aktivnost uporabnika
- Aktivni uporabniki
- Aktivni procesi
- Število datotek
- Velikost datoteke (MB)
- Število dokumentov
- Število predmetov, ki bodo poslani prejemnikom
- Število nasprotnih strank
- Nedokončana opravila
- Povprečni čakalni čas za prenos e-pošte s poštnega strežnika v zadnjih 10 minutah
- Zunanji medpomnilnik podatkov: število datotek
- Zaostajajoča obroba od trenutnega datuma
- Dolga čakalna vrsta
- Operativna čakalna vrsta
- Neobdelana starost računa z zunanjim usmerjanjem
- Velikost čakalne vrste za sprejemanje notranjega usmerjanja (dolga čakalna vrsta)
- Velikost čakalne vrste za sprejemanje notranjega usmerjanja (hitra čakalna vrsta)
- Čas dostave pošte prek notranjega usmerjanja (dolga čakalna vrsta)
- Čas dostave pošte prek notranjega usmerjanja (hitra čakalna vrsta)
- Čas dostave pošte prek zunanjega usmerjanja (povprečje)
- Število dokumentov Rezervacija
- Število dokumentov Odsotnost
- Število dokumentov "Evidenca o delu z nasprotno stranko"
- Pošta Posodobi pisma v mapi
- Pošta Odpiranje pisemske kartice
- Pošta Prenesite pismo v mapo
- Pošta Krmarjenje po mapah
Naš sistem meri več kot 150 indikatorjev XNUMX ur na dan, vendar vseh ni mogoče hitro spremljati. Morda pridejo prav kasneje, v neki zgodovinski perspektivi, vi pa se lahko osredotočite na najpomembnejše za posel.
V eni izmed izvedb je bilo na primer izbranih le 5 indikatorjev. Stranka si je zastavila cilj ustvariti minimalen nabor kazalnikov, a hkrati tako, da bo zajemal glavne scenarije dela. V potrdilo o prevzemu bi bilo neupravičeno vključiti 150 kazalnikov, saj se je tudi znotraj podjetja težko dogovoriti, kateri kazalniki so sprejemljivi. In za teh 5 indikatorjev so vedeli in so jih sistemu predstavili že pred začetkom izvedbenega projekta, vključno z natečajno dokumentacijo: čas za odpiranje kartice ne več kot 3 sekunde, čas za dokončanje naloge z datoteko št. več kot 5 sekund itd. V naših hčerinskih družbah smo imeli meritve, ki so zelo jasno odražale prvotno zahtevo iz strankinih tehničnih specifikacij.
Imamo tudi profilno analizo meritev uspešnosti. Indikatorji uspešnosti so zapis trajanja vsake tekoče operacije (pisanje pisma v bazo podatkov, pošiljanje pisma na poštni strežnik itd.). To uporabljajo izključno tehniki. V našem programu zbiramo veliko kazalnikov uspešnosti. Trenutno merimo približno 1500 ključnih operacij, ki so razdeljene na profile.
Eden najpomembnejših profilov za nas je »Seznam ključnih kazalnikov pošte z vidika potrošnika«. Ta profil vključuje na primer naslednje kazalnike:
- Izvajanje ukaza: Izberi po oznaki
- Odpiranje obrazca: Seznam obrazca
- Izvajanje ukaza: Izberi po mapi
- Prikaz črke v bralnem območju
- Shranjevanje pisma v vašo najljubšo mapo
- Iskanje črk po podrobnostih
- Ustvarjanje pisma
Če opazimo, da je metrika za nek poslovni kazalnik postala prevelika (na primer, pisma določenega uporabnika so začela prihajati zelo dolgo), začnemo to ugotavljati in se obrnemo na merjenje časa tehničnih operacij. Imamo tehnično operacijo "Arhiviranje pisem na poštnem strežniku" - vidimo, da je bil čas za to operacijo v zadnjem obdobju presežen. Ta operacija se nato razgradi na druge operacije - na primer vzpostavitev povezave s poštnim strežnikom. Vidimo, da je iz nekega razloga nenadoma postala zelo velika (imamo vse meritve za en mesec - lahko primerjamo, da je prejšnji teden znašala 10 milisekund, zdaj pa 1000 milisekund). In razumemo, da je tukaj nekaj pokvarjeno - to moramo popraviti.
Kako vzdržujemo tako veliko bazo podatkov?
Naš interni DO je primer resnično delujočega visoko obremenjenega projekta. Pogovorimo se o tehničnih značilnostih njegove baze podatkov.
Koliko časa traja prestrukturiranje velikih tabel baze podatkov?
Strežnik SQL zahteva periodično vzdrževanje, ki ureja tabele. V dobrem smislu je treba to storiti vsaj enkrat na dan, za mize z velikim povpraševanjem pa še pogosteje. A če je zbirka podatkov velika (in naše število zapisov je že preseglo 11 milijard), potem skrb zanjo ni enostavna.
Pred 6 leti smo naredili prestrukturiranje mize, potem pa je začelo vzeti toliko časa, da nismo več ustrezali nočnim intervalom. In ker te operacije močno obremenjujejo strežnik SQL, ta ne more učinkovito služiti drugim uporabnikom.
Zato moramo zdaj uporabiti različne trike. Teh postopkov na primer ne moremo izvesti na celotnih nizih podatkov. Zateči se morate k postopku posodobitve vzorca 500000 vrstic - to traja 14 minut. Ne posodablja statistike vseh podatkov v tabeli, ampak izbere pol milijona vrstic in jih uporabi za izračun statistike, ki jo uporabi za celotno tabelo. To je nekaj predpostavk, vendar smo jo prisiljeni narediti, ker bo za določeno tabelo zbiranje statističnih podatkov o celi milijardi zapisov trajalo nesprejemljivo dolgo.
Optimizirali smo tudi druga vzdrževalna dela tako, da so bila delna.
Vzdrževanje DBMS je na splošno težka naloga. V primeru aktivne interakcije med zaposlenimi baza podatkov hitro raste, skrbniki pa jo vedno težje vzdržujejo - posodabljanje statistike, defragmentacija, indeksiranje. Tu moramo uporabiti različne strategije, dobro vemo, kako to narediti, imamo izkušnje, lahko jih delimo.
Kako se izvaja varnostno kopiranje s takšnimi količinami?
Popolna varnostna kopija DBMS se izvaja enkrat na dan ponoči, inkrementalna - vsako uro. Prav tako se vsak dan ustvari imenik datotek in je del inkrementalne varnostne kopije shrambe datotek.
Koliko časa traja popolno varnostno kopiranje?
Popolna varnostna kopija na trdi disk je končana v treh urah, delna varnostna kopija v eni uri. Zapisovanje na trak (posebna naprava, ki naredi varnostno kopijo na posebno kaseto, ki je shranjena zunaj pisarne, se naredi dlje časa; na trak se naredi prenosljiva kopija, ki se ohrani, če npr. zgori strežniška soba). Varnostna kopija je narejena na popolnoma istem strežniku, katerega parametri so bili višji - SQL strežnik z 20% obremenitvijo procesorja. V času varnostnega kopiranja se seveda sistem precej poslabša, vendar še vedno deluje.
Ali obstaja deduplikacija?
Datoteke so, preizkusili jo bomo na sebi in kmalu bo vključena v novo različico Upravljanja dokumentov. Preizkušamo tudi mehanizem deduplikacije nasprotne stranke. Na ravni DBMS ni deduplikacije zapisov, ker to ni potrebno. Platforma 1C:Enterprise shranjuje objekte v DBMS in samo platforma je lahko odgovorna za njihovo skladnost.
Ali obstajajo vozlišča samo za branje?
Ni bralnih vozlišč (namenskih sistemskih vozlišč, ki služijo tistim, ki potrebujejo kakršne koli podatke za branje). DO ni računovodski sistem, ki bi ga postavili na ločeno vozlišče BI, ampak obstaja ločeno vozlišče za razvojni oddelek, s katerim se izmenjujejo sporočila v formatu JSON, tipični čas replikacije pa je enote in desetine sekund. Vozlišče je še vedno majhno, ima okoli 800 milijonov zapisov, a hitro raste.
Ali se e-poštna sporočila, označena za izbris, sploh ne izbrišejo?
Ne še. Nimamo naloge narediti podlago lažjo. Bilo je več precej resnih primerov, ko se je bilo treba sklicevati na pisma, označena za izbris, vključno z letom 2009. Zato smo se odločili, da za zdaj vse obdržimo. Ko pa bodo stroški tega postali neupravičeni, bomo razmišljali o odstranitvi. Ampak, če morate popolnoma odstraniti ločeno pismo iz baze podatkov, tako da ni sledi, potem je to mogoče storiti s posebno zahtevo.
Zakaj ga shranjevati? Ali imate statistiko dostopa do starih dokumentov?
Statistike ni. Natančneje, je v obliki uporabniškega dnevnika, vendar se ne hrani dolgo. Vpisi, starejši od enega leta, se brišejo iz protokola.
Bile so situacije, ko je bilo treba pridobiti staro korespondenco izpred petih ali celo desetih let. In tega vedno niso počeli iz prazne radovednosti, ampak zaradi sprejemanja zapletenih poslovnih odločitev. Bil je primer, ko bi bila brez zgodovine dopisovanja sprejeta napačna poslovna odločitev.
Kako se oceni vrednost in uniči dokumentacija glede na roke hrambe?
Za papirne dokumente se to naredi na običajen tradicionalen način, kot vsi ostali. Za elektronske tega ne delamo - naj jih obdržijo zase. Sedenje je tukaj. Obstajajo prednosti. Vsi so v redu.
Kakšne so možnosti razvoja?
Zdaj naš DO rešuje približno 30 notranjih težav, nekatere smo našteli na začetku članka. V DL pripravljamo tudi konference, ki jih izvajamo dvakrat letno za naše partnerje: celoten program, vsa poročila, vse vzporedne sekcije, dvorane – vse to je v DL vtipkano, nato pa iz nje preneseno in natisnjen program. je narejen.
Pred DO je še nekaj nalog, poleg tistih, ki jih že rešuje. Obstajajo naloge za celotno podjetje, obstajajo pa edinstvene in redke, ki jih potrebuje samo določen oddelek. Treba jim je pomagati, kar pomeni razširitev "geografije" uporabe sistema znotraj 1C - razširitev obsega uporabe, reševanje težav vseh oddelkov. To bi bil najboljši test za učinkovitost in zanesljivost. Rad bi videl, da sistem deluje na bilijone zapisov, petabajtov informacij.
Vir: www.habr.com