{"id":35687,"date":"2019-10-31T22:05:46","date_gmt":"2019-10-31T19:05:46","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kategorii-vmesto-direktorij-ili-semanticheskaya-fajlovaya-sistema-dlya-linux\/"},"modified":"2019-10-31T22:05:46","modified_gmt":"2019-10-31T19:05:46","slug":"kategorii-vmesto-direktorij-ili-semanticheskaya-fajlovaya-sistema-dlya-linux","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kategorii-vmesto-direktorij-ili-semanticheskaya-fajlovaya-sistema-dlya-linux","title":{"rendered":"Categorie\u00ebn in plaats van mappen, of een semantisch bestandssysteem voor Linux","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

De classificatie van data is op zich een interessant onderwerp voor onderzoek. Ik hou ervan om informatie te verzamelen die nuttig lijkt, en heb altijd geprobeerd logische hi\u00ebrarchie\u00ebn van mappen voor mijn bestanden te maken. Op een nacht droomde ik van een prachtig en gebruiksvriendelijk programma om bestanden van tags te voorzien, en ik besloot dat dit niet langer zo kon doorgaan.<\/p>\n

<\/a><\/noindex><\/p>\n

Probleem van hi\u00ebrarchische bestandsystemen<\/h1>\n

<\/p>\n

Gebruikers stuiten vaak op het probleem van waar ze hun nieuwe bestand moeten opslaan en het probleem van het vinden van hun eigen bestanden (soms zijn de bestandsnamen helemaal niet gemaakt om door mensen onthouden te worden).<\/p>\n

<\/p>\n

Een oplossing kan worden gevonden in semantische bestandsystemen, die meestal een laag bovenop traditionele bestandsystemen zijn. In plaats van mappen worden semantische attributen gebruikt, ook wel tags, categorie\u00ebn of metadata genoemd. Ik zal vaker de term 'categorie' gebruiken, omdat het woord 'tag' in de context van bestandsystemen soms vreemd klinkt, vooral wanneer er 'subtags' en 'aliasen' voor tags ontstaan.<\/p>\n

<\/p>\n

Het toewijzen van categorie\u00ebn aan bestanden vermindert in hoge mate de problemen met opslaan en het vinden van bestanden: als je je (of vermoedt) tenminste \u00e9\u00e9n van de toegewezen categorie\u00ebn van een bestand herinnert, dan zal het bestand nooit uit zicht raken.<\/p>\n

<\/p>\n

Eerder is dit onderwerp meermaals op Habr behandeld (one<\/a><\/noindex>, two<\/a><\/noindex>, drie<\/a><\/noindex>, vier<\/a><\/noindex> en anderen), hier beschrijf ik mijn oplossing.<\/p>\n

<\/p>\n

De weg naar implementatie<\/h1>\n

<\/p>\n

Meteen na de genoemde droom beschreef ik in een notitieboek de commandoregelinterface die de noodzakelijke functies voor het werken met categorie\u00ebn moest bieden. Toen besloot ik dat ik binnen een week of twee een prototype kon schrijven met Python of Bash, en daarna zou ik moeten werken aan het cre\u00ebren van een grafische interface met Qt of GTK. De realiteit was, zoals altijd, veel strenger en de ontwikkeling liep uit.<\/p>\n

<\/p>\n

Het oorspronkelijke idee was om vooral een programma te maken met een gebruiksvriendelijke en beknopte commandoregelinterface dat categorie\u00ebn kan aanmaken, verwijderen, categorie\u00ebn aan bestanden kan toewijzen en categorie\u00ebn uit bestanden kan verwijderen. Ik noemde het programma vitis<\/em>.<\/p>\n

<\/p>\n

De eerste poging om te cre\u00ebren vitis<\/em> stond stil, omdat er veel tijd moest worden besteed aan werk en de universiteit. De tweede poging was al iets: ik slaagde erin het geplande project af te ronden voor mijn masterthese en zelfs een prototype van de GTK-interface te maken. Maar die versie bleek zo onbetrouwbaar en onhandig dat ik veel opnieuw moest overdenken.<\/p>\n

<\/p>\n

Met de derde versie gebruikte ik het zelf echt heel lang, waarbij ik enkele duizenden van mijn bestanden in categorie\u00ebn heb geplaatst. Dit werd onder andere sterk gefaciliteerd door de gerealiseerde autocompletion in bash. Maar sommige problemen, zoals het ontbreken van automatische categorie\u00ebn en de mogelijkheid om bestanden met dezelfde naam op te slaan, bleven bestaan, terwijl het programma al onder zijn eigen complexiteit bezweek. Zo kwam ik tot de noodzaak om de problemen van de ontwikkeling van complexe software op te lossen: gedetailleerde vereisten op te stellen, een systeem voor functionele tests te ontwikkelen, instructies voor pakketbeheer te bestuderen en nog veel meer. Nu ben ik aangekomen bij het beoogde resultaat, zodat dit bescheiden werk kan worden gepresenteerd aan de vrije gemeenschap. Dit specifieke bestandsbeheer, zoals het beheren via het concept van categorie\u00ebn, raakt onverwachte kwesties en problemen aan, en in het oplossen daarvan vitis<\/em> werd er nog eens vijf projecten omheen geboren, waarvan sommige in het artikel zullen worden genoemd. Tot op de dag van vandaag vitis<\/em> heb ik geen grafische interface aangeschaft, maar het gebruiksgemak van bestandscategorie\u00ebn vanuit de commandoregel overschaduwt voor mij al de voordelen van een gewone grafische bestandsbeheerder.<\/p>\n

<\/p>\n

Voorbeelden van gebruik<\/h1>\n

<\/p>\n

Laten we beginnen met het eenvoudige \u2014 een categorie aanmaken:<\/p>\n

<\/p>\n

vitis create Muziek<\/code><\/pre>\n
<\/p>\n
Laten we er als voorbeeld een compositie aan toevoegen:<\/p>\n
<\/p>\n
vitis assign Muziek -f \"The Ink Spots - I Don't Want To Set The World On Fire.mp3\"<\/code><\/pre>\n
<\/p>\n
De inhoud van de categorie 'Muziek' kan worden bekeken met het subcommando 'show':<\/p>\n
<\/p>\n
vitis show Muziek<\/code><\/pre>\n
<\/p>\n
Het kan worden afgespeeld met het subcommando 'open'.<\/p>\n
<\/p>\n
vitis open Muziek<\/code><\/pre>\n
<\/p>\n
Aangezien we in de categorie 'Muziek' maar \u00e9\u00e9n bestand hebben, zal alleen dat bestand worden gestart. Voor het openen van bestanden met standaardprogramma's heb ik een aparte utility gemaakt. vts-fs-open<\/em> (Standaard tools zoals xdg-open of mimeopen waren om verschillende redenen niet bevredigend voor mij; maar als het nodig is, kun je in de instellingen een andere tool opgeven voor universeel openen van bestanden). Deze tool werkt goed op verschillende distributies met verschillende desktopomgevingen, daarom raad ik aan om deze samen met vitis te installeren.<\/p>\n
<\/p>\n
Je kunt ook rechtstreeks het programma opgeven voor het openen van bestanden:<\/p>\n
<\/p>\n
vitis open Muziek --app qmmp<\/code><\/pre>\n
<\/p>\n
\"Categorie\u00ebn<\/p>\n
<\/p>\n
Laten we nog meer categorie\u00ebn aanmaken en bestanden toevoegen met behulp van 'assign'. Als bestanden worden toegewezen aan nog niet bestaande categorie\u00ebn, wordt er om hun creatie gevraagd. Dit verzoek kan worden vermeden door de vlag --yes te gebruiken.<\/p>\n
<\/p>\n
vitis assign Programmeren R -f \"Inleiding tot R.pdf\" \"Statistisch pakket R: kansrekening en wiskundige statistiek.pdf\" --yes<\/code><\/pre>\n
<\/p>\n
Nu willen we het bestand 'Statistisch pakket R: theorie van waarschijnlijkheid en statistiek.pdf' de categorie 'Wiskunde' toevoegen. We weten dat dit bestand al de categorie 'R' heeft en kunnen daarom het categoriekpad uit het Vitis-systeem gebruiken:<\/p>\n
<\/p>\n
vitis assign Wiskunde -v \"R\/Statistisch pakket R: kansrekening en wiskundige statistiek.pdf\"<\/code><\/pre>\n
<\/p>\n
Gelukkig maakt de bash-autocompletion dit eenvoudig.<\/p>\n
<\/p>\n
Laten we zien wat we hebben, gebruik makend van de vlag --categories, zodat we de lijst met categorie\u00ebn voor elk bestand kunnen bekijken:<\/p>\n
<\/p>\n
vitis show R --categories<\/code><\/pre>\n
<\/p>\n
\"Categorie\u00ebn<\/p>\n
<\/p>\n
Merk op dat bestanden ook automatische categorie\u00ebn zijn toegewezen op basis van formaat, type (combineert formaten) en bestandsextensie. Deze categorie\u00ebn kunnen indien gewenst worden uitgeschakeld. Later zal ik zeker hun namen lokaliseren.<\/p>\n
<\/p>\n
Laten we voor de afwisseling nog iets toevoegen aan 'Wiskunde':<\/p>\n
<\/p>\n
vitis assign Wiskunde -f \"Wiskundige analyse - 1984.pdf\" Perelman_Leuke_wiskunde_1927.djvu <\/code><\/pre>\n
<\/p>\n
En nu begint het interessante deel. In plaats van categorie\u00ebn kunnen we expressies schrijven met de operaties van vereniging, intersectie en uittrekken, dat wil zeggen, we kunnen operaties op verzamelingen gebruiken. Bijvoorbeeld, de intersectie van 'Wiskunde' met 'R' zal resulteren in \u00e9\u00e9n bestand.<\/p>\n
<\/p>\n
vitis show R i: Wiskunde<\/code><\/pre>\n
<\/p>\n
Laten we de vermeldingen van de taal 'R' uit 'Wiskunde' trekken:<\/p>\n
<\/p>\n
vitis show Wiskunde R  #of vitis show Wiskunde c: R<\/code><\/pre>\n
<\/p>\n
We kunnen muziek en de taal R willekeurig combineren:<\/p>\n
<\/p>\n
vitis show Muziek u: R<\/code><\/pre>\n
<\/p>\n
De vlag -n stelt ons in staat om uit het resultaat van de query de benodigde bestanden op nummers en\/of bereiken 'te trekken', bijvoorbeeld: -n 3-7<\/code>, of iets complexer: -n 1,5,8-10,13<\/code>. Het is vaak nuttig met de subopdracht open, waarmee je de benodigde bestanden uit de lijst kunt openen.<\/p>\n
<\/p>\n
\"Categorie\u00ebn<\/p>\n
<\/p>\n
Hoewel we ons van het gebruik van een gewone hi\u00ebrarchie van mappen verwijderen, is het vaak nuttig om geneste categorie\u00ebn te hebben. Laten we de subcategorie 'Statistiek' onder de categorie 'Wiskunde' aanmaken en deze categorie aan het geschikte bestand toevoegen:<\/p>\n
<\/p>\n
vitis create Wiskunde\/Statistiek\n\nvitis assign Wiskunde\/Statistiek -v \"R\/Inleiding tot R.pdf\"\n\nvitis show Wiskunde --categories<\/code><\/pre>\n
<\/p>\n
\"Categorie\u00ebn<\/p>\n
<\/p>\n
We kunnen zien dat dit bestand nu de categorie 'Wiskunde\/Statistiek' heeft in plaats van 'Wiskunde' (overtollige links worden bijgehouden).<\/p>\n
<\/p>\n
Het kan ongemakkelijk zijn om met het volledige pad te werken, laten we een 'globale' alias aanmaken:<\/p>\n
<\/p>\n
vitis assign Wiskunde\/Statistiek -a Statistiek\n\nvitis show Statistiek<\/code><\/pre>\n
<\/p>\n
\"Categorie\u00ebn<\/p>\n
<\/p>\n
Niet alleen reguliere bestanden<\/h2>\n
<\/p>\n
Internetlinks<\/h3>\n
<\/p>\n
Voor de uniformiteit van het opslaan van informatie zou het nuttig zijn om in ieder geval internetbronnen te categoriseren. En dat is mogelijk:<\/p>\n
<\/p>\n
vitis assign Habr Kleuranomalie -i https:\/\/habr.com\/nl\/company\/sfe_ru\/blog\/437304\/ --yes<\/code><\/pre>\n
<\/p>\n
Op een speciale plaats wordt een bestand gecre\u00eberd met de HTML-pagina titel en met de extensie .desktop. Dit is het traditionele formaat voor snelkoppelingen in GNU\/Linux. Dergelijke snelkoppelingen krijgen automatisch de categorie NetworkBookmarks.<\/p>\n
<\/p>\n
Natuurlijk worden snelkoppelingen gemaakt om gebruikt te worden:<\/p>\n
<\/p>\n
vitis open Kleuranomalie<\/code><\/pre>\n
<\/p>\n
De uitvoering van de opdracht opent in de browser de zojuist opgeslagen link. Gecategoriseerde snelkoppelingen naar internetbronnen kunnen de functie van browserbladwijzers vervangen.<\/p>\n
<\/p>\n
Bestandsfragmenten<\/h3>\n
<\/p>\n
Het is ook nuttig om categorie\u00ebn voor afzonderlijke bestandsfragmenten te hebben. Niet slecht, toch? Maar de huidige implementatie betreft voorlopig alleen standaard tekstbestanden, audio- en videobestanden. Stel, je wilt een bepaald stuk van een concert of een grappig moment uit een film markeren, dan kun je bij het gebruik van assign profiteren van de vlaggen --fragname, --start, --finish. Laten we de intro uit 'Duck Tales' opslaan:<\/p>\n
<\/p>\n
vitis assign vitis assign -c Intro's -f Duck_Tales\/s01s01.avi --finish 00:00:59 --fragname \"Duck Tales intro\"\n\nvitis open Intro's<\/code><\/pre>\n
<\/p>\n
Er vindt eigenlijk geen afsnijden van bestanden plaats; in plaats daarvan wordt er een pointerbestand voor het fragment aangemaakt, waarin het type bestand, het pad naar het bestand, het begin en het einde van het fragment worden beschreven. Het aanmaken en openen van pointers voor fragmenten wordt gedelegeerd aan tools die ik speciaal voor deze doeleinden heb gemaakt - mediafragmenter en fragplayer. De eerste maakt aan, de tweede opent. In het geval van audio- en videobestanden gebeurt het afspelen van het mediabestand vanaf een bepaalde tot een bepaalde positie met behulp van VLC-speler, dus deze moet ook in het systeem aanwezig zijn. Ik wilde dit aanvankelijk op basis van mplayer doen, maar daar was het om de een of andere reden erg rommelig met het positioneren op het juiste moment.
\nIn ons voorbeeld wordt er een bestand 'Duck Tales intro.fragpointer' aangemaakt (het wordt op een speciale plek opgeslagen), en vervolgens wordt er een fragment afgespeeld van het begin van het bestand (aangezien --start niet was opgegeven bij de creatie) tot het label op 59 seconden, waarna VLC wordt gesloten.<\/p>\n
<\/p>\n
Een ander voorbeeld is dat we besloten hebben een afzonderlijke uitvoering op een concert van een bekende artiest te categoriseren:<\/p>\n
<\/p>\n
vitis assign \u041b\u0435\u043f\u0441 \"Spasite nashi dushi\" -f Grigory Leps - Concert Parus - nummers van Vladimir Vysotsky.mp4 --fragname \"Spasite nashi dushi\" --start 00:32:18 --finish 00:36:51\n\nvitis open \"Spasite nashi dushi\"<\/code><\/pre>\n
<\/p>\n
Bij het openen zal het bestand op de juiste positie worden afgespeeld en na vier en een halve minuut sluiten.<\/p>\n
<\/p>\n
Hoe dit alles werkt + extra mogelijkheden<\/h1>\n
<\/p>\n
Categorisatie opslag<\/h2>\n
<\/p>\n
Aan het begin van het doordenken van de organisatie van het semantische bestandssysteem kwamen er drie manieren in me op: door het opslaan van symbolische links, via een database, of door een beschrijving in XML. De eerste manier won, omdat deze enerzijds eenvoudig te implementeren is, en anderzijds de gebruiker de mogelijkheid biedt om de categorie\u00ebn rechtstreeks vanuit het bestandssysteem te bekijken (wat handig en belangrijk is). Aan het begin van het gebruik vitis<\/em> In de thuisdirectory van de gebruiker wordt een directory 'Vitis' aangemaakt en een configuratiebestand '.config\/vitis\/vitis.conf'. In ~\/Vitis worden directories aangemaakt die overeenkomen met de categorie\u00ebn, en in deze categorie-directories worden symbolische links naar de originele bestanden aangemaakt. De aliassen voor de categorie\u00ebn zijn ook gewoon links naar hen. Natuurlijk kan het hebben van een directory 'Vitis' in de thuisdirectory voor sommigen onaangenaam zijn. We kunnen overschakelen naar een andere locatie:<\/p>\n
<\/p>\n
vitis service set path \/mnt\/MyFavoriteDisk\/Vitis\/<\/code><\/pre>\n
<\/p>\n
Op een bepaald moment wordt het duidelijk dat het categoriseren van verspreide bestanden weinig zinnig is, aangezien hun locatie kan veranderen. Daarom heb ik eerst een directory aangemaakt waar ik gewoon alles dumpte en het alles categoriseerde. Vervolgens besloot ik dat het goed zou zijn om dit op softwarematig niveau te regelen. Zo ontstond het concept van 'bestandsruimte'. Aan het begin van het gebruik vitis<\/em> zou het meteen handig zijn om zo'n plek in te stellen (daar worden alle bestanden die we nodig hebben opgeslagen) en autosave in te schakelen:<\/p>\n
<\/p>\n
vitis service add filespace \/mnt\/MyFavoriteDisk\/Filespace\/\n\nvitis service set autosave yes<\/code><\/pre>\n
<\/p>\n
Zonder automatische opslag bij het gebruik van de subopdracht «assign» is de vlag —save vereist als je wilt dat het toegevoegde bestand in de bestandsruimte wordt opgeslagen.<\/p>\n
<\/p>\n
Bovendien kun je meerdere bestandsruimtes toevoegen en hun prioriteiten wijzigen, wat nuttig kan zijn wanneer er veel bestanden zijn die op verschillende media zijn opgeslagen. Hier zal ik deze mogelijkheid niet behandelen, details zijn te vinden in de handleiding van het programma.<\/p>\n
<\/p>\n
Migratie van het semantische bestandssysteem<\/h2>\n
<\/p>\n
Hoe dan ook, de Vitis-directory en bestandsruimtes kunnen theoretisch af en toe van plaats veranderen. Om dit operationeel te maken, heb ik een aparte utility gecre\u00eberd link-editor<\/em>, die links massaal kan bewerken door delen van het pad door andere te vervangen:<\/p>\n
<\/p>\n
cp -r \/mnt\/MyFavoriteDisk\/Vitis\/ ~\/Vitis\nlink-editor -d ~\/Vitis\/ -f \/mnt\/MyFavoriteDisk\/Vitis\/ -r ~\/Vitis\/ -R\ncp -r \/mnt\/MyFavoriteDisk\/Filespace\/ ~\/MyFiles\nlink-editor -d ~\/Vitis\/ -f \/mnt\/FlashDrive-256\/Filespace\/ -r ~\/MyFiles -R<\/code><\/pre>\n
<\/p>\n
In het eerste geval, nadat we zijn verhuisd van \/mnt\/MyFavoriteDisk\/Vitis\/ naar de thuismap, worden de symbolische links die zijn gerelateerd aan aliassen bewerkt. In het tweede geval worden na het wijzigen van de locatie van de bestandsruimte alle links in Vitis gewijzigd op basis van de wijzigingsaanvraag van hun pad.<\/p>\n
<\/p>\n
Automatische categorie\u00ebn<\/h2>\n
<\/p>\n
Als je het commando uitvoert vitis service get autocategorization<\/code>, kun je zien dat standaard automatische categorie-indeling is ingesteld op basis van (Format en Type) en bestandsextensies (Extension).<\/p>\n
<\/p>\n
Dit is nuttig wanneer je bijvoorbeeld iets moet vinden tussen PDF's of wilt zien wat je hebt opgeslagen in EPUB en FB2, je kunt gewoon de query uitvoeren<\/p>\n
<\/p>\n
vitis show Format\/MOBI u: Format\/FB2<\/code><\/pre>\n
<\/p>\n
Het is zo gekomen dat de standaard tools van GNU\/Linux zoals file of mimetype me niet tevredenstelden, omdat ze niet altijd het juiste formaat kunnen bepalen. Daarom heb ik een eigen implementatie gemaakt op basis van bestandssignaturen en extensies. Over het algemeen is het bepalen van bestandsformaten een interessant onderwerp voor onderzoek en verdient het een apart artikel. Voorlopig kan ik zeggen dat ik misschien niet voor alle bestandsformaten ter wereld een nauwkeurige herkenning heb voorzien, maar over het algemeen werkt het al behoorlijk goed. Helaas wordt het formaat voor EPUB momenteel als ZIP herkend (wat in wezen gerechtvaardigd is, maar in de praktijk niet als normaal gedrag moet worden beschouwd). Tot op zekere hoogte moet je deze mogelijkheid als experimenteel beschouwen; meld bugs. In vreemde situaties kan je altijd gebruik maken van categorie\u00ebn op basis van bestandsextensies, bijvoorbeeld Extension\/epub.<\/p>\n
<\/p>\n
Als de automatische categorie\u00ebn op basis van het formaat zijn ingeschakeld, zijn ook de automatische categorie\u00ebn ingeschakeld die bepaalde formaten combineren, zoals: «Archieven», «Afbeeldingen», «Video», «Audio» en «Documenten». Voor deze subcategorie\u00ebn zullen ook gelokaliseerde namen worden gemaakt.<\/p>\n
<\/p>\n
Waar niets over gezegd wordt<\/h1>\n
<\/p>\n
vitis<\/em> is het een zeer veelzijdige tool geworden, en het is moeilijk om alles onmiddellijk te dekken. Ik zal kort vermelden wat je verder nog kunt doen:<\/p>\n
<\/p>\n