Në 1C, ne përdorim gjerësisht zhvillimet tona për të organizuar punën e kompanisë. Veçanërisht, . Përveç menaxhimit të dokumenteve (siç sugjeron emri), ai është gjithashtu një modern -Sistemi (Menaxhimi i përmbajtjes së ndërmarrjes - menaxhimi i përmbajtjes së korporatës) me një gamë të gjerë funksionesh - postë, kalendarët e punës së punonjësve, organizimi i aksesit të përbashkët në burime (për shembull, rezervimi i dhomave të takimeve), gjurmimi i kohës, forumi i korporatës dhe shumë më tepër.
Më shumë se një mijë punonjës përdorin menaxhimin e dokumenteve në 1C. Baza e të dhënave tashmë është bërë mbresëlënëse (11 miliardë regjistrime), që do të thotë se kërkon kujdes më të kujdesshëm dhe pajisje më të fuqishme.
Si funksionon sistemi ynë, çfarë vështirësish hasim gjatë mirëmbajtjes së bazës së të dhënave dhe si i zgjidhim ato (ne përdorim MS SQL Server si DBMS) - do t'ju tregojmë në artikull.
Për ata që po lexojnë për herë të parë për produktet 1C.
1C: Document Flow është një zgjidhje aplikacioni (konfigurim) i zbatuar në bazë të një kuadri për zhvillimin e aplikacioneve të biznesit - platforma 1C: Enterprise.
"1C: Document Flow 8" (shkurtuar si DO) ju lejon të automatizoni punën me dokumentet në një ndërmarrje. Një nga mjetet kryesore për ndërveprimin e punonjësve është emaili. Përveç postës, DO zgjidh edhe probleme të tjera:
- Ndjekja e kohës
- Ndjekja e mungesës së punonjësve
- Aplikime për korrierë/transport
- Kalendarët e punës së punonjësve
- Regjistrimi i korrespondencës
- Kontaktet e punonjësve (Libri i Adresave)
- Forumi i korporatës
- Rezervimi i dhomës
- Planifikimi i ngjarjeve
- CRM
- Punë kolektive me skedarë (me versionet e skedarëve të ruajtur)
- etj
Ne hyjmë në Menaxhimin e Dokumenteve (aplikacion i ekzekutueshëm vendas) nga Windows, Linux, macOS, (nga shfletuesit) dhe - në varësi të situatës.
Dhe falë produktit tonë tjetër të lidhur me Document Flow - – ne drejtpërdrejt në Document Flow marrim funksionalitetin e mesazherit – biseda, thirrje audio dhe video (përfshirë thirrjet në grup, të cilat tani janë bërë veçanërisht të rëndësishme, duke përfshirë edhe nga një klient celular), shkëmbim të shpejtë skedarësh plus aftësinë për të shkruar robotë chat që thjeshtojnë duke punuar me sistemin. Një avantazh tjetër i përdorimit të Sistemit të Ndërveprimit (krahasuar me mesazherët e tjerë) është aftësia për të zhvilluar diskutime kontekstuale të lidhura me objekte specifike të rrjedhës së dokumentit - dokumente, ngjarje, etj. Kjo do të thotë, Sistemi i Ndërveprimit është thellësisht i integruar me aplikacionin e synuar dhe nuk vepron vetëm si një "buton i veçantë".
Numri i shkronjave në DO-në tonë tashmë ka kaluar 100 milionë, dhe në përgjithësi ka më shumë se 11 miliardë regjistrime në DBMS. Në total, sistemi përdor pothuajse 30 TB hapësirë ruajtëse: vëllimi i bazës së të dhënave është 7,5 TB, skedarët për punë kolektive ruhen veçmas dhe zënë 21 TB të tjera.
Nëse flasim për numra më specifikë, këtu është numri i shkronjave dhe skedarëve për momentin:
- Email në dalje – 14,7 milionë.
- Letrat hyrëse – 85,4 milionë.
- Versionet e skedarëve - 70,8 milion.
- Dokumentet e brendshme – 30,6 mijë.
DO ka më shumë se thjesht postë dhe skedarë. Më poshtë janë shifrat për objektet e tjera kontabël:
- Rezervimi i dhomave të takimeve – 52
- Raportet javore – 153
- Raportet ditore – 628
- Viza miratimi – 11
- Dokumentet hyrëse – 79
- Dokumentet dalëse – 28 357
- Regjistrimet për ngjarjet në kalendarët e punës së përdoruesve – 168
- Aplikime për korrierë – 21 883
- Kundërpalët – 81
- Të dhënat e punës me palët – 45
- Personat e kontaktit të palëve – 41
- Ngjarjet – 10
- Projektet – 6
- Detyrat e punonjësve – 245
- Postime në forum – 26
- Mesazhet e bisedës – 891 095
- Proceset e biznesit - 109 Ndërveprimi ndërmjet punonjësve ndodh përmes proceseve - miratimi, ekzekutimi, rishikimi, regjistrimi, nënshkrimi etj. Ne matim kohëzgjatjen e proceseve, numrin e cikleve, numrin e pjesëmarrësve, numrin e kthimeve, numrin e kërkesave për ndryshimin e afateve. Dhe ky informacion është shumë i dobishëm për t'u analizuar për të kuptuar se çfarë procesesh po ndodhin në ndërmarrje dhe për të rritur efikasitetin e bashkëpunimit të punonjësve.
Me çfarë pajisje i përpunojmë të gjitha këto?
Këto shifra tregojnë një vëllim mbresëlënës detyrash, ndaj ne u përballëm me nevojën për të ndarë pajisje mjaft produktive për nevojat e filialeve të brendshme. Aktualisht, karakteristikat e tij janë si më poshtë: 38 bërthama, 240 GB RAM, 26 TB disqe. Këtu është një tabelë e serverëve:
Në të ardhmen, ne planifikojmë të rrisim kapacitetin e pajisjeve.
Si po shkojnë gjërat me ngarkesën e serverit?
Aktiviteti i rrjetit nuk ka qenë kurrë një problem për ne apo klientët tanë. Si rregull, pika e dobët është procesori dhe disqet, sepse të gjithë tashmë e dinë se si të merren me mungesën e memories. Këtu janë pamjet e serverëve tanë nga Resource Monitor, të cilat tregojnë se nuk kemi ndonjë ngarkesë të tmerrshme, është shumë modeste.
Për shembull, në pamjen e mëposhtme të ekranit shohim një server SQL ku ngarkesa e CPU është 23%. Dhe ky është një tregues shumë i mirë (për krahasim: nëse ngarkesa i afrohet 70%, atëherë, ka shumë të ngjarë, punonjësit do të vëzhgojnë ngadalësime mjaft domethënëse në punë).
Pamja e dytë e ekranit tregon serverin e aplikacionit në të cilin funksionon platforma 1C:Enterprise - ai shërben vetëm për seancat e përdoruesve. Këtu ngarkesa e procesorit është pak më e lartë - 38%, është e qetë dhe e qetë. Ka pak ngarkim të diskut, por është i pranueshëm.
Pamja e tretë e ekranit tregon një server tjetër 1C: Enterprise (është i dyti, ne kemi dy prej tyre në grup). Vetëm ai i mëparshmi u shërben përdoruesve dhe robotët punojnë në këtë. Për shembull, ata marrin postë, dokumente të rrugës, shkëmbejnë të dhëna, llogarisin të drejtat, etj. Të gjitha këto aktivitete në sfond kryejnë afërsisht 90-100 punë në sfond. Dhe ky server është shumë i ngarkuar - 88%. Por kjo nuk prek njerëzit dhe zbaton saktësisht të gjithë automatizimin që duhet të bëjë Menaxhimi i Dokumenteve.
Cilat janë metrikat për të matur performancën?
Ne kemi një nënsistem serioz të integruar në filialet tona për matjen e treguesve të performancës dhe llogaritjen e metrikave të ndryshme. Kjo është e nevojshme për të kuptuar si në momentin aktual ashtu edhe nga një këndvështrim historik se çfarë po ndodh në sistem, çfarë po përkeqësohet, çfarë po përmirësohet. Mjetet e monitorimit - metrikat dhe matjet e kohës - përfshihen në shpërndarjen standarde të "1C: Document Flow 8". Metrikat kërkojnë personalizim gjatë zbatimit, por vetë mekanizmi është standard.
Metrikat janë matje të treguesve të ndryshëm të biznesit në pika të caktuara kohore (për shembull, koha mesatare e dorëzimit të postës është 10 minuta).
Një nga metrikat tregon numrin e përdoruesve aktivë në bazën e të dhënave. Mesatarisht janë 1000-1400 të tillë gjatë ditës. Grafiku tregon se në kohën e pamjes së ekranit kishte 2144 përdorues aktivë në bazën e të dhënave.
Ka më shumë se 30 veprime të tilla, lista është në prerje.Listë
- Identifikohu
- Dilni
- Po ngarkohet posta
- Ndryshimi i vlefshmërisë së një objekti
- Ndryshimi i të drejtave të aksesit
- Ndryshimi i temës së një procesi
- Ndryshimi i grupit të punës së një objekti
- Ndryshimi i përbërjes së kompletit
- Ndryshimi i një skedari
- Importi i skedarit
- Dërgimi me postë
- Lëvizja e skedarëve
- Ridrejtimi i një detyre
- Nënshkrimi i nënshkrimit elektronik
- Kërko sipas detajeve
- Kërkimi i tekstit të plotë
- Marrja e një skedari
- Ndërprerja e një procesi
- rishikim
- Deshifrimi
- Regjistrimi i dokumentit
- hetim
- Zhshënjimi i fshirjes
- Krijimi i një objekti
- Ruajtja në disk
- Fillimi i procesit
- Fshirja e shënimeve të regjistrit të përdoruesve
- Heqja e një nënshkrimi elektronik
- Vendosja e një shenje fshirjeje
- Enkriptimi
- Eksporto një dosje
Një javë më parë, aktiviteti ynë mesatar i përdoruesve u rrit me një herë e gjysmë (treguar me të kuqe në grafik) - kjo është për shkak të kalimit të shumicës së punonjësve në punë në distancë (për shkak të ngjarjeve të njohura). Gjithashtu, numri i përdoruesve aktivë u rrit me 3 herë (tregohet me blu në pamjen e ekranit), pasi punonjësit filluan të përdorin në mënyrë aktive telefonat celularë: çdo klient celular krijon një lidhje me serverin. Tani, mesatarisht, secili nga punonjësit tanë ka 2 lidhje me serverin.
Për ne, si administratorë, ky është një sinjal se duhet të jemi më të vëmendshëm ndaj çështjeve të performancës dhe të shohim nëse gjërat janë përkeqësuar. Por ne e shikojmë këtë bazuar në parametra të tjerë. Për shembull, si ndryshon koha e dorëzimit të postës për rrugëtimin e brendshëm (treguar me blu në pamjen e ekranit më poshtë). Ne e shohim që deri në këtë vit ka pasur luhatje, por tani është stabile - për ne ky është një tregues se gjithçka është në rregull me sistemin.
Një tjetër metrikë e aplikuar për ne është koha mesatare e pritjes për shkarkimin e letrave nga serveri i postës (e treguar me të kuqe në pamjen e ekranit). Përafërsisht, për sa kohë letra do të qarkullojë nëpër internet para se të arrijë tek punonjësi ynë. Pamja e ekranit tregon se kjo kohë gjithashtu nuk ka ndryshuar në asnjë mënyrë kohët e fundit. Ka pika të izoluara - por ato nuk shoqërohen me vonesa, por me faktin se koha në serverët e postës humbet.
Ose, për shembull, një metrikë tjetër (e treguar në ngjyrë blu në pamjen e ekranit) - përditësimi i shkronjave në një dosje. Hapja e një dosjeje postare është një operacion shumë i zakonshëm dhe duhet bërë shpejt. Ne matim se sa shpejt kryhet. Ky tregues matet për çdo klient. Ju mund të shihni si pamjen e përgjithshme për kompaninë ashtu edhe dinamikën, për shembull, për një punonjës individual. Pamja e ekranit tregon se deri në këtë vit metrika ishte e pabalancuar, më pas bëmë një sërë përmirësimesh dhe tani nuk po përkeqësohet - grafiku është pothuajse i sheshtë.
Metrikat janë në thelb një mjet administratori për monitorimin e sistemit, për t'iu përgjigjur shpejt çdo ndryshimi në sjelljen e sistemit. Pamja e ekranit tregon matjet e brendshme të filialeve për vitin. Kërcimi në grafikë është për faktin se na u dhanë detyra për të zhvilluar filialet e brendshme.
Këtu është një listë e disa metrikave të tjera (nën prerje).
Metrikë
- Aktiviteti i përdoruesit
- Përdoruesit aktivë
- Proceset aktive
- Numri i dosjeve
- Madhësia e skedarit (MB)
- Numri i dokumenteve
- Numri i objekteve që do t'u dërgohen marrësve
- Numri i palëve
- Detyrat e papërfunduara
- Koha mesatare e pritjes për shkarkimin e emaileve nga serveri i postës gjatë 10 minutave të fundit
- Buferi i jashtëm i të dhënave: numri i skedarëve
- Kufiri i vonuar nga data aktuale
- Radhë e gjatë
- Radha operative
- Mosha e llogarisë së papërpunuar sipas rrugëtimit të jashtëm
- Madhësia e radhës së pranimit të rrugëtimit të brendshëm (radhë e gjatë)
- Madhësia e radhës së pranimit të rrugëtimit të brendshëm (radha e shpejtë)
- Koha e dorëzimit të postës përmes rrugëtimit të brendshëm (radhë e gjatë)
- Koha e dorëzimit të postës përmes rrugëtimit të brendshëm (radhë e shpejtë)
- Koha e dorëzimit të postës përmes rrugëtimit të jashtëm (mesatar)
- Numri i dokumenteve Rezervimi
- Numri i dokumenteve Mungesa
- Numri i dokumenteve "Regjistrimi i punës me palën tjetër"
- Përditësimi i letrave me postë në një dosje
- Mail Hapja e një karte letre
- Posta Transferoni një letër në një dosje
- Mail Lundroni nëpër dosje
Sistemi ynë mat më shumë se 150 tregues gjatë gjithë kohës, por jo të gjithë mund të monitorohen shpejt. Ato mund të jenë të dobishme më vonë, në një këndvështrim historik, dhe ju mund të përqendroheni në ato më të rëndësishmet për biznesin.
Në një nga zbatimet, për shembull, u zgjodhën vetëm 5 tregues. Klienti vendosi një qëllim për të krijuar një grup minimal treguesish, por në të njëjtën kohë të tillë që të mbulonte skenarët kryesorë të punës. Do të ishte e pajustifikuar përfshirja e 150 treguesve në certifikatën e pranimit, sepse edhe brenda ndërmarrjes është e vështirë të bihet dakord se cilët tregues konsiderohen të pranueshëm. Dhe ata dinin për këta 5 tregues dhe i kishin paraqitur tashmë në sistem përpara fillimit të projektit të zbatimit, duke i përfshirë në dokumentacionin e konkursit: koha për të hapur një kartë jo më shumë se 3 sekonda, koha për të përfunduar një detyrë me një dosje nr. më shumë se 5 sekonda, etj. Në filialet tona ne kishim matje që pasqyronin shumë qartë kërkesën origjinale nga specifikimet teknike të klientit.
Ne gjithashtu kemi një analizë të profilit të matjeve të performancës. Treguesit e performancës janë një regjistrim i kohëzgjatjes së çdo operacioni në vazhdim (shkrimi i një letre në bazën e të dhënave, dërgimi i një letre në një server të postës, etj.). Kjo përdoret ekskluzivisht nga teknikët. Ne grumbullojmë shumë tregues të performancës në programin tonë. Aktualisht matim afërsisht 1500 operacione kyçe, të cilat ndahen në profile.
Një nga profilet më të rëndësishme për ne është "Lista e treguesve kryesorë të postës nga perspektiva e konsumatorit". Ky profil përfshin, për shembull, treguesit e mëposhtëm:
- Ekzekutimi i komandës: Zgjidh sipas etiketës
- Hapja e një formulari: Formulari i listës
- Ekzekutimi i komandës: Zgjidh sipas dosjes
- Shfaqja e një letre në zonën e leximit
- Ruajtja e një letre në dosjen tuaj të preferuar
- Kërkoni letra sipas detajeve
- Krijimi i një letre
Nëse shohim që metrika për një tregues biznesi është bërë shumë i madh (për shembull, letrat nga një përdorues i caktuar kanë filluar të mbërrijnë për një kohë shumë të gjatë), ne fillojmë ta kuptojmë atë dhe të kthehemi në matjen e kohës së operacioneve teknike. Ne kemi një operacion teknik "Arkivimi i letrave në serverin e postës" - shohim se koha për këtë operacion është tejkaluar për periudhën e fundit. Ky operacion, nga ana tjetër, zbërthehet në operacione të tjera - për shembull, krijimi i një lidhjeje me një server poste. Ne shohim që për disa arsye është bërë papritmas shumë i madh (ne kemi të gjitha matjet për një muaj - mund të krahasojmë që javën e kaluar ishte 10 milisekonda, dhe tani është 1000 milisekonda). Dhe ne e kuptojmë se diçka është thyer këtu - ne duhet ta rregullojmë atë.
Si të mbajmë një bazë të dhënash kaq të madhe?
DO-ja jonë e brendshme është një shembull i një projekti vërtet funksional me ngarkesë të lartë. Le të flasim për veçoritë teknike të bazës së të dhënave të saj.
Sa kohë duhet për të ristrukturuar tabelat e mëdha të bazës së të dhënave?
Serveri SQL kërkon mirëmbajtje periodike, duke i vendosur tabelat në rregull. Në një mënyrë të mirë, kjo duhet të bëhet të paktën një herë në ditë, dhe akoma më shpesh për tavolinat me kërkesa të larta. Por nëse baza e të dhënave është e madhe (dhe numri i të dhënave tona tashmë ka tejkaluar 11 miliardë), atëherë kujdesi për të nuk është i lehtë.
Ne bëmë një ristrukturim tavoline 6 vjet më parë, por më pas filloi të merrte aq shumë kohë sa nuk futeshim më në intervalet e natës. Dhe meqenëse këto operacione ngarkojnë shumë serverin SQL, ai nuk mund t'u shërbejë në mënyrë efikase përdoruesve të tjerë.
Prandaj, tani duhet të përdorim truke të ndryshme. Për shembull, ne nuk mund t'i kryejmë këto procedura në grupe të plota të të dhënave. Ju duhet të përdorni procedurën Përditësimi i mostrës 500000 rreshtash - kjo zgjat 14 minuta. Ai nuk përditëson statistikat për të gjitha të dhënat në tabelë, por zgjedh gjysmë milioni rreshta dhe i përdor ato për të llogaritur statistikat që përdor për të gjithë tabelën. Ky është një supozim, por ne jemi të detyruar ta bëjmë atë, sepse për një tabelë specifike, mbledhja e statistikave për të gjithë miliardat rekorde do të marrë një kohë të papranueshme të gjatë.
Ne gjithashtu optimizuam operacionet e tjera të mirëmbajtjes duke i bërë ato të pjesshme.
Mbajtja e një DBMS është përgjithësisht një detyrë e vështirë. Në rastin e ndërveprimit aktiv midis punonjësve, baza e të dhënave rritet shpejt dhe bëhet gjithnjë e më e vështirë për administratorët ta mirëmbajnë atë - përditësoni statistikat, defragmentimin, indeksimin. Këtu duhet të aplikojmë strategji të ndryshme, ne e dimë mirë si ta bëjmë këtë, ne kemi përvojë, mund ta ndajmë.
Si zbatohet kopja rezervë me vëllime të tilla?
Një kopje rezervë e plotë e DBMS kryhet një herë në ditë gjatë natës, një shtesë - çdo orë. Gjithashtu, një direktori skedari krijohet çdo ditë, dhe është një pjesë e rezervimit shtesë të ruajtjes së skedarëve.
Sa kohë duhet për të përfunduar një kopje rezervë të plotë?
Një kopje rezervë e plotë në një hard disk përfundon në tre orë, një kopje rezervë e pjesshme në një orë. Duhet më shumë kohë për të shkruar në kasetë (një pajisje speciale që bën një kopje rezervë në një kasetë të veçantë të ruajtur jashtë zyrës; një kopje e transferueshme bëhet në kasetë, e cila do të ruhet nëse, për shembull, dhoma e serverit digjet). Rezervimi është bërë saktësisht në të njëjtin server, parametrat e të cilit ishin më të larta - një server SQL me ngarkesë procesori 20%. Në kohën e kopjimit, sigurisht, sistemi bëhet shumë më i keq, por është akoma funksional.
A ka dedublikim?
Ka skedarë, do ta testojmë vetë dhe së shpejti do të përfshihet në versionin e ri të Menaxhimit të Dokumenteve. Ne po testojmë gjithashtu mekanizmin e heqjes së dyfishimit të palëve. Nuk ka fshirje të të dhënave në nivelin DBMS, pasi kjo nuk është e nevojshme. Platforma 1C:Enterprise ruan objektet në DBMS dhe vetëm platforma mund të jetë përgjegjëse për qëndrueshmërinë e tyre.
A ka nyje vetëm për lexim?
Nuk ka nyje leximi (nyje të dedikuara të sistemit që u shërbejnë atyre që duhet të marrin ndonjë të dhënë për lexim). DO nuk është një sistem kontabiliteti për të vendosur një nyje të veçantë BI, por ka një nyje të veçantë për departamentin e zhvillimit, me të cilin shkëmbehen mesazhet në formatin JSON dhe koha tipike e replikimit është njësi dhe dhjetëra sekonda. Nyja është ende e vogël, ka rreth 800 milionë regjistrime, por po rritet me shpejtësi.
A nuk janë fshirë fare emailet e shënuara për fshirje?
Ende jo. Ne nuk kemi për detyrë ta bëjmë bazën më të lehtë. Kishte disa raste mjaft serioze kur ishte e nevojshme t'u referoheshim letrave të shënuara për fshirje, përfshirë vitin 2009. Kjo është arsyeja pse vendosëm të mbajmë gjithçka për momentin. Por kur kostoja e kësaj bëhet e pajustifikuar, ne do të mendojmë për heqjen. Por, nëse duhet të hiqni plotësisht një letër të veçantë nga baza e të dhënave në mënyrë që të mos ketë gjurmë, atëherë kjo mund të bëhet me kërkesë të veçantë.
Pse ta ruani? A keni statistika për aksesin në dokumente të vjetra?
Nuk ka statistika. Më saktësisht, është në formën e një regjistri të përdoruesit, por nuk ruhet për një kohë të gjatë. Regjistrimet më të vjetra se një vit fshihen nga protokolli.
Kishte situata kur ishte e nevojshme të merrej korrespondenca e vjetër pesë apo edhe dhjetë vjet më parë. Dhe kjo bëhej gjithmonë jo nga kurioziteti i kotë, por për të marrë vendime komplekse biznesi. Kishte një rast kur, pa histori korrespondence, do të ishte marrë një vendim i gabuar biznesi.
Si vlerësohet dhe asgjësohet vlera e dokumenteve sipas periudhave të ruajtjes?
Për dokumentet në letër kjo bëhet në mënyrën e zakonshme tradicionale, si gjithë të tjerët. Ne nuk e bëjmë atë për ato elektronike - le t'i mbajnë për vete. Ulja është këtu. Ka përfitime. Të gjithë janë mirë.
Cilat janë perspektivat e zhvillimit?
Tani DO jonë zgjidh rreth 30 probleme të brendshme, disa prej të cilave i renditëm në fillim të artikullit. DL përdoret gjithashtu për të përgatitur konferenca që ne mbajmë dy herë në vit për partnerët tanë: i gjithë programi, të gjitha raportet, të gjitha seksionet paralele, sallat - e gjithë kjo shtypet në DL, dhe më pas shkarkohet prej saj, dhe një program i printuar. është bërë.
Ka disa detyra të tjera në rrugë për DO, përveç atyre që tashmë po i zgjidh. Ka detyra në të gjithë kompaninë, dhe ka unike dhe të rralla, të nevojshme vetëm nga një departament specifik. Është e nevojshme t'i ndihmojmë ata, që do të thotë zgjerimi i "gjeografisë" së përdorimit të sistemit brenda 1C - zgjerimi i fushës së aplikimit, zgjidhjen e problemeve të të gjitha departamenteve. Ky do të ishte testi më i mirë për performancën dhe besueshmërinë. Do të doja ta shihja sistemin të funksiononte në triliona rekorde, petabajt informacione.
Burimi: www.habr.com