Kaugfailide juurdepääsusüsteem Cage

Süsteemi eesmärk

Kaugtöölaual juurdepääsu toetamine arvutites, mis on võrgus. Süsteem toetab "virtuaalselt" kõiki põhifailioperatsioone (loomine, kustutamine, lugemine, kirjutamine jne), vahetades tehingute (sõnumite) kaudu andmeid TCP protokolli järgi.

Rakendusvaldkonnad

Süsteemi funktsionaalsus on efektiivne järgmistel juhtudel:

• natiivsetes rakendustes mobiilsete ja embedded seadmete jaoks (nutitelefonid, laevanduse juhtimissüsteemid jne), mis vajavad kiiret juurdepääsu failidele kaugserverites, olukordades, kus on tõenäoliselt ajaliselt katkestusi (offline minnes);
• koormatud andmebaasides, kus päringute töötlemine toimub ühel serveril, samas kui andmete salvestamine toimub teistel;
• jaotatud ettevõtte andmekogumiste ja töötlemise võrkudes, mis nõuavad suurt andmevahetuse kiirus, varu ja usaldusväärsus;
• keerulistes süsteemides, millel on mikroteenuste arhitektuur, kus teabe vahetuse viivitused moodulite vahel on kriitilise tähtsusega.

Struktuur

Süsteem Cage (sealhulgas Python 3.7 beta versioon Windowsi operatsioonisüsteemis) koosneb kahest põhiosast:

1. Cageserver — failiserveri programm (funktsioonide pakett), mis käivitatakse võrgus asuvatel arvutitel, mille failidele on vajalik kaugjuurdepääs;
2. klass Cage klienditarkvara jaoks mõeldud meetodite teek, mis lihtsustab serveritega suhtlemise kodeerimist.

Süsteemi kasutamine kliendi poolel

Cage klassi meetodid asendavad tavalised, "rutinoossed" failisüsteemi operatsioonid: failide loomine, avamine, sulgemine, kustutamine ja ka andmete lugemine/kirjutamine binaarses formaadis (andmete asukoha ja suuruse määramisega). Kontseptuaalselt on need meetodid sarnased C keele failifunktsioonidega, kus failide avamine/sulgemine toimub „sisendi-väljundi kanalite“ kaudu.

Teisisõnu, programmeerija ei tööta "faili" objektide (klassi _io Pythonis) meetodite, vaid Cage klassi meetoditega.

Objekti Cage loomisel luuakse algne side serveriga (või mitme serveriga), toimub autoriseerimine kliendi ID kaudu ja saadakse kinnitamine eraldatud sadama numbri kohta kõigi failitehingute teostamiseks. Objekti Cage eemaldamisel annab see serverile käsu ühenduse lõpetamiseks ja failide sulgemiseks. Ühenduse lõpetamist võivad algatada ka serverid ise.

Süsteem suurendab lugemise/kirjutamise kiirusel põhinevat andmete vahetuses kasutatavate failifragmentide vahemälu (vahemälu) kasutamist kliendiprogrammide hulgas.
Klienditarkvara võib kasutada suvalist arvu Cage objekte erinevate seadistustega (vahemälu suurus, plokkide suurus serveriga suhtlemisel jne).

Üks Cage objekt võib vahetada andmeid mitme faili vahel mitmetes serverites. Ühendusparameetrid (serveri IP-aadress või DNS, autoriseerimise peaport, faili tee ja nimi) määratakse objekti loomisel.

Kuna iga Cage objekt võib samal ajal töötada paljude failidega, kasutatakse vahemälu jaoks ühist mäluruumi. Vahemälu suurus – lehekülgede arv ja nende suurus – määratakse dünaamiliselt Cage objekti loomise käigus. Näiteks 1 GB vahemälu on 1000 lehekülge suuruses 1 MB, või 10 000 lehekülge suuruses 100 KB, või 1 miljon lehekülge suuruses 1 KB. Lehekülgede suuruse ja arvu valik on iga rakenduse puhul spetsiifiline ülesanne.

Samaaegselt võib kasutada mitut Cage objekti, et määrata erinevaid vahemälu seadistusi sõltuvalt info juurdepääsu eripärast erinevates failides. Ahnas põhialgoritmimeetodina rakendatakse lihtsalt vahemälu: pärast määratud mälumahtude täitumist tõrjutakse uued leheküljed vanade arvelt, järgides minimaalse pöördumise põhimõtet. Vahemälu on eriti efektiivne ebaühtlase (statistiliselt) ühise juurdepääsu korral, esiteks erinevatele failidele ja teiseks iga faili fragmentidele.

Cage klass toetab andmete sisendi/väljundi töötlemist mitte ainult andmeaadresside kaudu (täpsustades positsiooni ja massiivi pikkuse, "asendades" failisüsteemi toimingud), vaid ka madalamal, "füüsilisel" tasemel – vahemälu lehekülje numbrite kaudu.

Cage objektide jaoks toetatakse originaalset funktsiooni "hibernatsioon" («samm») – neid saab «kokku kerida» (näiteks, kui serveritega on ühendus katkenud või rakendus on peatatud jne) kliendi poolel paiknevasse kohalikku dump-faili ning kiiresti taastada see fail (pärast ühenduse taastamist, rakenduse uuesti käivitamist). See võimaldab märkimisväärselt vähendada liiklust kliendi programmi töötamise aktiveerimisel pärast ajutist «offline» viibimist, kuna sageli kasutatavad failifragmendid on juba vahemälus.

Cage — see on umbes 3600 koodi rida.

Serverite ehitamise põhimõtted

Cageserveri failiserverid saab käivitada suvalise sadamate arvuga, millest üks («peamine») kasutatakse ainult kõigi klientide autentimiseks, ülejäänud - andmevahetuseks. Cage serveri programmi jaoks on vajalik vaid Python. Samal ajal võib failiserveriga arvuti täita ka muid ülesandeid.

Server käivitub esmalt kahel peamisel protsessil:

1. «Ühendused» – protsess, mis täidab ühenduse loomise ja selle lõpetamise operatsioone klientidega serveri algatusel;
2. «Operatsioonid» – protsess, mis täidab klientide poolt failidega töötamiseks ettenähtud ülesandeid (operatsioone) ning samuti sulgeb sideseansid klientide korralduste järgi.

Mõlemad protsessid ei ole sünkroniseeritud ja on struktureeritud kui lõpmatud sõnumite vastuvõtmise ja saatmise tsüklid, mis põhinevad multiprocess-Queues, vaheobjektidel, lukustustel ja socket'itel.
Protsess «Ühendused» määrab igale kliendile andmete edastamiseks ja vastuvõtmiseks sadama. Sadamate arvu määrab serveri käivitamisel. Sadamate ja klientide vaheline vastavus salvestatakse protsesside vahel jagatud proxy-mälu.

Protsess «Operatsioonid» toetab failide ressursside jagamist, võimaldades mitmel erineval kliendil koos (kvasiparalleelselt, kuna juurdepääsu hallatakse lukustuste abil) lugeda andmeid ühest failist, kui see on selle algse avamise ajal «esimese» kliendi poolt lubatud.

Failide loomiseks / kustutamiseks / avamiseks / sulgemiseks esitatud käsud serveris töödeldakse «Operatsioonid» protsessis rangelt järjestikku, kasutades serveri opsüsteemi failialust.

Üldise lugemise/kirjutamise kiirusestamiseks toimuvad need tegevused protsessis "Operatsioonid" genereeritud lõimedes (threads). Lõimede arv on tavaliselt võrdne avatud failide arvuga. Klientide lugemis-/kirjutamisülesanded esitatakse ühisjärjekorda ja esimene vabanev lõim võtab ülesande selle algusest. Eriline loogika võimaldab välistada andmete ülekirjutamise operatsioonid serveri mälus.

Protsess "Operatsioonid" jälgib klientide aktiivsust ja lõpetab nende teenindamise nii nende käskudest kui ka mitteaktiivsuse ületamise tõttu.

Usaldusväärsuse tagamiseks jälgib Cageserver kõiki tehingute logisid. Üks ühine logi sisaldab klientide sõnumite koopiaid, millel on ülesanded failide loomise/, avamise/, ümbernimetamise/ ja kustutamise kohta. Iga tööfaili jaoks luuakse eraldi logi, kuhu kantakse koopiaid sõnumitest lugemis- ja kirjutamisülesannete kohta selle tööfaili sees, samuti kirjutatud (uute) andmete massiivid ja andmete massiivid, mis hävitati üle kirjutamise käigus (uute andmete "peale" kirjutamine vanadele).

Need logid võimaldavad taastada uusi muudatusi varukoopiatest ning "tagasi pöörduda" jooksva sisu juurest vajalikku hetke minevikus.

Cageserveri kood sisaldab umbes 3100 rida.

Cageserveri faili serveri programmi käivitamine

Käivitamisel tuleb dialoogis määrata:
— peamine port autentimiseks;
— autoriseeritud klientidega tehingute vahetamiseks portide arv (alates 1 ja rohkem, nummerdamise jooks algab järgmisel pärast peamise pordi numbrit).

Klassi Cage kasutamine

class cage.Cage( cage_name=», pagesize=0, numpages=0, maxstrlen=0, server_ip={}, wait=0, awake=False, cache_file=» )

Selle klassi abil luuakse objekte, mis suhtlevad faili serveritega ja sisaldavad puhvri mälu.

Parameetrid

• cage_name(str) — objekti tingimuslik nimetus, mida kasutatakse klientide tuvastamiseks serveri poolel
• pagesize(int) — ühe puhvri lehe suurus (baitides)
• numpages(int) — puhvri lehtede arv
• maxstrlen(int) — maksimaalne baitide stringi pikkus kirjutamis- ja lugemisoperatsioonides
• server_ip(dict) — sõnastik kasutatavate aadressidega serverid, kus võti on serveri tinglik nimi (serveri id rakenduses), ja väärtus on teekonna string: “ip address:port” või “DNS:port” (nimede ja tegelike aadresside vastavus on ajutine, seda saab muuta)
• ootama(int) — ooteaeg serveri vastuse saamiseks portide saamisel (sekundites)
• ärka üles(boolean) — objekti loomise meetodi lipp (Vale — kui luuakse uus objekt, Tõsi — kui objekt luuakse varem „minimeeritud” olekust - kasutades operatsiooni „hibernatsioon”, vaikimisi False)
• cache_file(str) — failinimi hibernatsiooni jaoks

Meetodid

Kaitse.file_create( server, tee ) – loo uus fail

Kaitse.file_rename( server, tee, new_name ) – nimeta fail ümber

Kaitse.file_remove( server, tee) – kustuta fail

Kaitse.open( server, tee, mod ) – avada fail

Tagastab fchannel kanali number. Parameeter mod — see on faili avamise režiim: „wm” — monopol, (lugemine/kirjutamine), „rs” — ainult lugemine, ja teistele klientidele ainult lugemiseks jagatud, „ws” — lugemine/kirjutamine, ja teistele klientidele ainult lugemiseks jagatud.

Kaitse.sulgeda (fchannel) – sulge fail

Kaitse.kirjutama (fchannel, algus, andmed ) – kirjutada baitstring faili

Kaitse.lugema (fchannel, algus, len_data ) – lugeda baitstring faili

Kaitse.put_pages ( fchannel ) – „puudutab” serverilt kõik antud kanali lehed, mis on muudetud. Kasutatakse algoritmi punktides, kus on oluline, et kõik operatsioonid kanalil oleksid füüsiliselt serveris salvestatud.

Kaitse.push_all () – „puudutab” serverilt kõik antud klassi Cage eksemplari kanalite lehed, mis on muudetud. Kasutatakse, kui on oluline, et kõik operatsioonid kõigil kanalitel oleksid serveris salvestatud.

Allikas: habr.com