Систем за далечински пристап до датотеки во кафез

Цел на системот

Поддршка за далечински пристап до датотеки на компјутери на мрежата. Системот „виртуелно“ ги поддржува сите основни операции со датотеки (креирање, бришење, читање, пишување, итн.) со размена на трансакции (пораки) со помош на протоколот TCP.

Апликации

Функционалноста на системот е ефикасна во следниве случаи:

• во природни апликации за мобилни и вградени уреди (паметни телефони, системи за контрола на одборот итн.) кои бараат брз пристап до датотеките на оддалечените сервери во услови на можни привремени прекини во комуникацијата (со одење офлајн);
• во вчитани DBMS, ако обработката на барањата се врши на некои сервери, а складирањето податоци се врши на други;
• во дистрибуирани корпоративни мрежи за собирање и обработка на информации, кои бараат голема брзина на размена на податоци, вишок и доверливост;
• во сложени системи со микросервис архитектура, каде што одложувањата во размената на информации помеѓу модулите се критични.

Структура

Системот Cage (постои имплементација - бета верзија во Python 3.7 на Windows) вклучува два главни дела:

1. Кејџсервер — програма за сервер за датотеки (пакет на функции) што работи на компјутери на мрежата чии датотеки бараат далечински пристап;
2. класа Кејџ со библиотека на методи за клиентски софтвер, поедноставувајќи го кодирањето на интеракцијата со серверите.

Користење на системот на страната на клиентот

Методите од класата Cage ги заменуваат вообичаените, „рутински“ операции на датотечен систем: создавање, отворање, затворање, бришење датотеки, како и читање/пишување податоци во бинарен формат (со означување на положбата и големината на податоците). Концептуално, овие методи се блиску до датотечните функции на јазикот C, каде што отворањето/затворањето на датотеките се врши „на каналите“ на влез/излез.

Со други зборови, програмерот не работи со методи на објекти „датотеки“ (класа _io во Python), но со методи од класата Cage.

Кога ќе се креира примерок од објект Cage, тој воспоставува почетна врска со сервер (или неколку сервери), е овластен од клиентот ID и добива потврда со посветен број на порта за сите операции со датотеки. Кога објектот Cage е избришан, тој му наложува на серверот да престане да комуницира и да ги затвори датотеките. Прекинувањето на комуникацијата може да биде иницирано и од самите сервери.

Системот ги подобрува перформансите за читање/запишување со баферирање на често користените фрагменти од датотеки на клиентски програми во кешот на RAM меморијата (бафер).
Клиентскиот софтвер може да користи кој било број на Cage објекти со различни поставки (големина на меморијата на баферот, големина на блок при размена со серверот итн.).

Еден објект Cage може да комуницира со повеќе датотеки на повеќе сервери. Параметрите за комуникација (IP адреса или DNS-сервер, главна порта за овластување, патека и име на датотека) се наведени при креирањето на објектот.

Бидејќи секој објект Cage може да работи со повеќе датотеки во исто време, заедничкиот мемориски простор се користи за баферирање. Големина на кешот – бројот на страници и нивната големина, се поставува динамично при креирање на објект Cage. На пример, кешот од 1 GB е 1000 страници од по 1 MB, или 10 илјади страници од по 100 KB, или 1 милион страници од по 1 KB. Изборот на големината и бројот на страници е специфична задача за секој случај на апликација.

Можете да користите повеќе Cage објекти во исто време за да дефинирате различни поставки за тампон меморија во зависност од тоа како се пристапува до информациите во различни датотеки. Како основен, се користи наједноставниот алгоритам за тампонирање: откако ќе се исцрпи дадена количина на меморија, новите страници ги менуваат старите според принципот на пензионирање со минимален број на пристапи. Баферирањето е особено ефикасно во случај на нерамномерен (во статистичка смисла) споделен пристап, прво, до различни датотеки и, второ, до фрагменти од секоја датотека.

Класата Cage поддржува I/O не само со адреси на податоци (што ја означува позицијата и должината на низата, „заменува“ операции на датотечниот систем), туку и на пониско, „физичко“ ниво - по броеви на страници во баферската меморија.

Оригиналната функција е поддржана за Cage објекти "хибернација" („спиење“) - тие можат да бидат „склопени“ (на пример, во случај на губење на врската со серверите, или кога апликацијата е запрена, итн.) во локална депонија на страната на клиентот и брзо вратени од оваа датотека (откако ќе продолжи комуникацијата, кога ќе ја рестартирате апликацијата). Ова овозможува значително да се намали сообраќајот при активирање на клиентската програма по привремено одење „офлајн“, бидејќи често користените фрагменти од датотеки веќе ќе бидат во кешот.

Кејџ е околу 3600 линии код.

Принципи на изградба на сервер

Серверите за датотеки на Cageserver може да се извршуваат со произволен број порти, од кои едната („главната“) се користи само за авторизација на сите клиенти, а останатите се користат за размена на податоци. Програмата за серверот Cage бара само Python. Паралелно, компјутерот со серверот за датотеки може да врши која било друга работа.

Серверот првично започнува како збирка од два главни процеси:

1. "Конекции" – процес за извршување на операциите на воспоставување комуникација со клиенти и нејзино прекинување на иницијатива на серверот;
2. „Операции“ – процес за извршување задачи (операции) на клиентите за работа со датотеки, како и за затворање на комуникациски сесии врз основа на команди на клиентот.

И двата процеса не се синхронизирани и се организирани како бескрајни циклуси на примање и испраќање пораки врз основа на редици со повеќе процеси, прокси објекти, брави и сокети.
Процесот на поврзување доделува порта за секој клиент за примање и пренос на податоци. Бројот на порти се поставува кога серверот ќе се стартува. Мапирањето помеѓу портите и клиентите е зачувано во интерпроцесна споделена прокси меморија.

Процесот на операции поддржува споделување ресурси на датотеки, така што повеќе различни клиенти можат да споделуваат (квази-паралелен, бидејќи пристапот се контролира со брави) читајте податоци од една датотека ако тоа беше дозволено кога првично беше отворена од „првиот“ клиент.

Обработката на команди за креирање/бришење/отворање/затворање датотеки на серверот се врши во самиот процес „Операции“ строго последователно користејќи го подсистемот за датотеки на серверот ОС.

За генерално да се забрза читањето/пишувањето, овие операции се изведуваат во нишки создадени од процесот „Операции“. Бројот на нишки обично е еднаков на бројот на отворени датотеки. Задачите за читање/запишување од клиенти се доставуваат до генералниот ред и првата бесплатна нишка ја зема задачата од главата. Специјалната логика ви овозможува да ги елиминирате операциите за препишување податоци во RAM меморијата на серверот.

Процесот на операции ја следи активноста на клиентот и престанува да ги сервисира или по нивни команди или кога ќе се надмине времето за неактивност.

За да обезбеди сигурност, Cageserver води евиденција на сите трансакции. Еден општ дневник содржи копии од пораки од клиенти со задачи за создавање/отворање/преименување/бришење датотеки. За секоја работна датотека се креира посебен дневник, во кој се евидентираат копии од пораки со задачи за читање и запишување податоци во оваа работна датотека, како и низи напишани (нови) податоци и низи податоци кои биле уништени при препишување (пишување нови податоци „на врвот“ на старите). ).

Овие дневници обезбедуваат можност и за враќање на новите промени на резервните копии и за враќање на тековната содржина до точка во минатото.

Cageserver е околу 3100 линии код.

Стартување на програмата за сервер за датотеки Cageserver

Кога започнувате, треба да дефинирате во дијалогот:
— главно пристаниште за овластување;
— бројот на порти за размена на трансакции со овластени клиенти (од 1 или повеќе, збирот на броеви започнува од оној до главниот број на порта).

Користење на класата Кејџ

класа кафезКејџ( cage_name="", pagesize=0, numpages=0, maxstrlen=0, server_ip={}, wait=0, awake=False, cache_file="" )

Објектите се креирани од оваа класа кои комуницираат со серверите за датотеки и содржат бафер меморија.

Параметри

• кафез_име(ул) - условно име на објектот, што се користи за идентификација на клиенти на страната на серверот
• големина на страници(int) — големина на една страница од баферската меморија (во бајти)
• нумпажи(int) — број на страници од тампон меморија
• maxstrlen(int) — максималната должина на низа бајти во операциите за пишување и читање
• server_ip(диктира) - речник со адресите на користените сервери, каде што клучот е условното име на серверот (ид на сервер во апликацијата), а вредноста е низа со адреса: „ip address:port“ или „DNS: порта“ (споредувањето на имињата и вистинските адреси е привремено, може да се промени)
• почекај(int) — време на чекање за одговор од серверот при примање порти (во секунди)
• будна(boolean) — знаменце за тоа како се создава објектот (Лажни - ако се создаде нов објект, Точно - ако објектот е создаден од претходно „склопен“ - користејќи ја операцијата „хибернација“, стандардно Неточно)
• кеш_датотека(ул) - име на датотека за хибернација

Методи

Кејџ.file_create( сервер, патека ) – креирајте нова датотека

Кејџ.датотека_преименувај( сервер, патека, ново_име ) – преименувај ја датотеката

Кејџ.датотека_отстрани( сервер, патека) - избришете датотека

Кејџ.отвори( сервер, патека, мод ) - отворена датотека

Се враќа ф-канал број на канал. Параметар МО - ова е режимот на отворање на датотеката: "wm" - ексклузивен (читај/пишување), "rs" - само за читање и споделен само за читање од други клиенти, "ws" - читање/пишување и споделено само за читање од други клиенти.

Кејџ.во близина (ф-канал) – затворете ја датотеката

Кејџ.пишувам (fchannel, start, data ) – напишете низа од бајти во датотека

Кејџ.чита (fchannel, start, len_data ) – прочитајте низа од бајти од датотека

Кејџ.стави_страници ( ф-канал ) – „ги турка“ од баферот до серверот сите страници од наведениот канал што се изменети. Се користи во оние точки во алгоритмот кога треба да бидете сигурни дека сите операции на каналот се физички зачувани во датотека на серверот.

Кејџ.push_all () – ги „турка“ од баферот до серверот сите страници од сите канали, на пример од класата Cage кои се изменети. Се користи кога треба да бидете сигурни дека сите операции на сите канали се зачувани на серверот.

Извор: www.habr.com