Andmete klassifitseerimine iseenesest on huvitav uurimisteema. Mulle meeldib koguda teavet, mis näib olevat vajalik, ja olen alati püüdnud luua loogilisi kaustastruktuure oma failide jaoks. Ühel ööl nägin ilusat ja mugavat programmi, mis määrab failidele silte, ning otsustasin, et niimoodi edasi elada ei saa.

Hierarhiliste failisüsteemide probleem

Kasutajad seisavad tihti silmitsi küsimusega, kuhu salvestada uus fail ning kuidas leida oma faile (mõnikord ei ole failide nimed inimestele mõistetavad).

Lahenduseks võivad olla semantilised failisüsteemid, mis on tavaliselt traditsiooniliste failisüsteemide pealseteks. Nendes asendatakse kaustad semantiliste atribuutidega, mida nimetatakse ka siltideks, kategooriateks või metaandmeteks. Ma kasutan sagedamini terminit 'kategooria', kuna failisüsteemide kontekstis tundub sõna 'silt' mõnikord veider, eriti kui esinevad 'alam-sildid' ja 'siltide pseudonüüdid'.

Failidele kategooriate määramine kõrvaldab paljuski probleeme salvestamisruumi ja failide leidmisega: kui sa mäletad (või aimad) vähemalt ühte määratud kategooriat, siis fail ei jää enam kunagi varju.

Varem on Habr's seda teemat korduvalt käsitletud (üks, kaks, kolmest, neli jne), siin kirjeldan oma lahendust.

Tee elluviimiseni

Tasusest pärast mainitud und kirjutasin vihikusse käsurea liidese, mis võimaldab vajalikku tööd kategooriatega teha. Siis otsustasin, et ühe või kahe nädalaga saab prototüübi valmis kirjutada, kasutades Pythonit või Bash'i, ja hiljem tuleb teha tööd graafilise liidese loomisel Qt või GTK-l. Reaalsus oli, nagu alati, palju karmim ning arendus venis.

Esialgne idee oli luua programm, millel on mugav ja lühike käsurea liides, mis võimaldab luua ja kustutada kategooriaid, määrata kategooriaid failidele ja kustutada kategooriaid failidest. Nimesin programmi vitis.

Esimene katse luua vitis lõppes mittemillegagi, kuna palju aega kulus tööle ja ülikoolile. Teine katse oli juba midagi: magistritöö jaoks õnnestus lõpetada planeeritud projekt ja isegi GTK-liidese prototüüp valmis teha. Kuid see versioon osutus nii ebausaldusväärseks ja ebamugavaks, et tuli palju ümber mõelda.

Kolmandat versiooni kasutasin ma ise väga pikka aega, jagades kategooriatesse mitu tuhat oma faili. Sellele aitas oluliselt kaasa rakendatud bash'i autokomplekteerimine. Kuid mõned probleemid, nagu automaatsete kategooriate puudumine ja samade nimedega failide säilitamise võimalus, jäid siiski alles, ja programm hakkas juba enda keerukuse all kokku kukkuma. N nii jõudsin ma vajaduseni lahendada keerulise tarkvara arendamise probleeme: kirjutada põhjalikud nõuded, arendada funktsionaalse testimise süsteem, uurida pakendamisjuhiseid ja palju muud. Praegu olen jõudnud soovitud tulemusele, nii et see tagasihoidlik looming võib olla esitatud vabale kogukonnale. Selline spetsiifiline failihaldus, nagu kategooriate kaudu haldamine, toob esile ootamatuid küsimusi ja probleeme ning nende lahendemine vitis sünnitas enda ümber veel viis projekti, millest mõned mainitakse artiklis. Kuni tänaseni vitis ei ole ma graafilist liidest omandanud, kuid failikategooriate kasutamise mugavus käsurealt ületab juba minu jaoks kõik tavalise graafilise failihalduri eelised.

Kasutamise näited

Alustame lihtsast — loome kategooria:

vitis create Muusika

Lisame sellesse näitena mõne loo:

vitis assign Muusika -f "The Ink Spots - I Don't Want To Set The World On Fire.mp3"

Kategooria 'Muusika' sisu saab vaadata alakomandiga 'show':

vitis show Muusika

Seda saab esitada alakomandiga 'open'

vitis open Muusika

Kuna meil on kategoorias 'Muusika' vaid üks fail, siis käivitatakse ainult see. Failide avamiseks vaikimisi programmide kaudu tegin eraldi utiliidi vts-fs-open (tavalised vahendid nagu xdg-open või mimeopen ei rahuldanud mind mitmel põhjusel; kuid kui soovite, võite seadetes määrata teise utiliidi failide universaalseks avamiseks). See utiliit töötab hästi erinevates distributsioonides erinevate graafiliste keskkondadega, seega soovitan koos vitisega ka selle paigaldada.

Saame otse määrata ka programmi failide avamiseks:

vitis open Muusika --app qmmp

Loome veel kategooriaid ja lisame faile kasutades „assign“. Kui failid määratakse veel mitteolevatele kategooriatele, saadetakse taotlus nende loomiseks. Üksikute taotluste vältimiseks on mõistlik kasutada flikki —yes.

vitis assign Programmeerimine R -f "Sissejuhatus R.pdf" "Statistiline paket R: tõenäosusteooria ja matemaatika statistika.pdf" --yes

Nüüd soovime lisada failile „Statistiline paket R: tõenäosusteooria ja matemaatika statistika.pdf“ kategooria „Matematika“. Me teame, et sellel failil on juba kategooria „R“ ja seetõttu saame kasutada Vitis-süsteemi kategooriate teed:

vitis assign Matemaatika -v "R/Statistiline paket R: tõenäosusteooria ja matemaatika statistika.pdf"

Õnneks võimaldab bash'i automaatne täiendamine seda kergelt teha.

Vaadakem, mis meil on, kasutades lippu —categories, et näha iga faili kategooriate nimekirja:

vitis show R --categories

Pange tähele, et failidele on määratud ka automaatsed kategooriad sisu formaadi, tüübi (koondab formaate) ja faililaiendi järgi. Soovi korral on neid kategooriaid võimalik väljalülitada. Hiljem teen kindlasti nende nimede lokaliseerimise.

Lisame „Matemaatikasse“ veel midagi huvitavat:

vitis assign Matemaatika -f "Matemaatika analüüs - 1984.pdf" Perelman_Huvitav_matemaatika_1927.djvu 

Nüüd saab huvitavaks. Kategooriate asemel saab kirjutada väljendeid, mis sisaldavad liitmise, ristumise ja lahutamise operatsioone, seega saab kasutada hulkade operatsioone. Näiteks „Matemaatika“ ristamine „R“-iga annab tulemuseks ühe faili.

vitis show R i: Matemaatika

Lahutame „Matemaatikast“ viidatud keele „R“:

vitis show Matemaatika R #või vitis show Matemaatika c: R

Saame mõttetult liita Muusika ja R-keele:

vitis show Muusika u: R

Lipp -n võimaldab „välja tõmmata“ päringutulemustest vajalikud failid numbrite ja/või vahemike kaupa, näiteks -n 3-7, või midagi keerulisemat: -n 1,5,8-10,13. Sageli on see kasulik koos alakomandiga open, mis võimaldab avada vajalikud failid loendist.

Kuigi me eemalduvad tavapärase kaustade hierarhia kasutamisest, on tihti kasulik omada alamkategooriaid. Loome kategooria „Statistika“ kategoorias „Matematika“ ja lisame selle sobivale failile:

vitis create Matemaatika/Statistika

vitis assign Matemaatika/Statistika -v "R/Sissejuhatus R.pdf"

vitis show Matemaatika --categories

Näeme, et see fail on nüüd kategooria "Matemaatika/Statistika" asemel "Matemaatika" (liigsed lingid jälgitakse).

Kogu tee kasutamine võib olla ebamugav, loome "globaalset" hüüdnime:

vitis assign Matemaatika/Statistika -a Statistika

vitis show Statistika

Mitte ainult tavaliseks failideks

Interneti-lingid

Iga info ühtse hoidmise jaoks oleks kasulik, vähemalt, kategooriate kaudu korraldada linke internetiressurssidele. Ja see on võimalik:

vitis assign Habr Värvianomaalia -i https://habr.com/ru/company/sfe_ru/blog/437304/ --yes

Spetsiaalsesse kohta luuakse fail, millel on HTML-lehe pealkiri ja laiend .desktop. See on traditsiooniline otsetee formaat GNU/Linuxis. Sellised otseteed saavad automaatse kategooria NetworkBookmarks.

Muidugi, otseteed loodi nende kasutamiseks:

vitis open Värvianomaalia

Käskluse täitmine avab brauseris just äsja salvestatud lingi. Kategooriatud otseteed internetiressurssidele võivad toimida brauseri järjehoidjate asendajatena.

Failijupid

Samuti on kasulik, et eraldi failijuppidel oleks kategooriad. Ei ole paha ettepanek, eks? Kuid praegune teostus puudutab ainult tavalisi teksti faile, audio- ja videofaile. Ütleme, et peate märkima teatud osa mõnest kontserdist või toredast hetkest filmis, siis assign'i kasutamisel võite kasutada lipukesi —fragname, —start, —finish. Salvestame "Kanuu lugude" algusjärje:

vitis assign vitis assign -c Algusjärjed -f Duck_Tales/s01s01.avi --finish 00:00:59 --fragname "Kanuu lugude intro"

vitis open Algusjärjed

Tegelikult ei toimu mitte mingit failide katkestamist, selle asemel luuakse fail, mis osutab fragmentidele, milles on kirjas faili tüüp, faili tee, algus ja lõpu fragment. Fragmentide osutajate loomine ja avamine on usaldatud utiliidile, mille ma olen spetsiaalselt nende eesmärkide jaoks loonud — see on mediafragmenter ja fragplayer. Esimene loob, teine avab. Audio- ja videofailide puhul toimub meediafaili käivitamine kindlast kuni kindla positsioonini VLC mängija kaudu, nii et see peab ka süsteemis olema. Alguses tahtsin selle teha mplayer'iga, kuid seal oli mingil põhjusel positsioneerimisega väga kehvasti.
Meie näites luuakse fail «Duck Tales intro.fragpointer» (see asetatakse erikohta), seejärel mängitakse faili algusest fragment (sest —start ei olnud loomisel märgitud) kuni 59 sekundi märgini, pärast mida VLC sulgub.

Teine näide — me otsustasime kategoriseerida eraldised mõne kuulsuse kontserdilt:

vitis assign Lepс "Salvage Our Souls" -f Grigori Lепс - Kontsert Pарус - Vladimir Высоцкий laulud.mp4 --fragname "Salvage Our Souls" --start 00:32:18 --finish 00:36:51

vitis open "Salvage Our Souls"

Fail avamisel mängitakse see vajalikus asendis ja sulgub nelja ja poole minuti pärast.

Kuidas see kõik töötab + täiendavad võimalused

Kategooriate hoidmine

Alguses, kui mõtlesin välja semantilise failisüsteemi korralduse, tuli mul pähe kolm võimalust: sümboolsete linkide hoidmise kaudu, andmebaasi abil, XML-i kaudu. Esimene meetod võitis, kuna see on ühelt poolt lihtne rakendada ja teiselt poolt võimaldab kasutajal vaadata kategooriaid otse failisüsteemist (ja see on mugav ja oluline). Alguses kasutamise vitis kasutaja kodukataloogis luuakse kataloog «Vitis» ja konfiguratsioonifail «.config/vitis/vitis.conf». Kataloogis ~ /Vitis luuakse kategooriatega seotud kataloogid ja nende kategooriate kataloogidesse luuakse sümboolsed lingid originaalfailidele. Kategooriate hüüdnimed on samuti lihtsalt lingid neile. Loomulikult võib kellegi jaoks olla probleemiks kodukataloogis «Vitis» olemasolu. Saame minna üle mistahes muusse kohta:

vitis service set path /mnt/MyFavoriteDisk/Vitis/

Teatud hetkel saab selgeks, et erinevates kohtades paiknevaid faile on mõttetu kategoriseerida, kuna nende asukoht võib muutuda. Seetõttu lõin alguses enda jaoks katalooge, kuhu ladusin kõik kokku ja andsin sellele kõikidele kategooriad. Siis mõtlesin, et oleks hea, kui see hetk oleks programmeeritaval tasemel seotud. Nii sai alguse mõisted «failiruumi». Alguses kasutamise vitis ei teeni kohe mitte ära seadistada sellist kohta (kuhu ladustatakse kõik meie jaoks vajalikud failid) ja lubada automaatne salvestamine:

vitis service add filespace /mnt/MyFavoriteDisk/Filespace/

vitis service set autosave yes

Ilma automaatset salvestamist «assign» alamkomandi kasutamisel on vajalik lipp —save, kui soovite salvestada lisatavat faili failiruumi.

Lisaks sellele on võimalik lisada mitu failiruumi ja muuta nende prioriteete, mis võib olla kasulik, kui faile on palju ja need on erinevates seadmetes. Siin ma seda võimalust ei käsitle, rohkem informatsiooni leiate programmi abist.

Semantilise failisüsteemi migratsioon

Igatahes võivad Vitis kataloog ja failiruumi teoreetiliselt mõnikord asukohta vahetada. Tööle viimiseks lõin eraldi utiliidi link-editor, mis suudab massiliselt redigeerida linke, vahetades tee osi teiste vastu:

cp -r /mnt/MyFavoriteDisk/Vitis/ ~/Vitis
link-editor -d ~/Vitis/ -f /mnt/MyFavoriteDisk/Vitis/ -r ~/Vitis/ -R
cp -r /mnt/MyFavoriteDisk/Filespace/ ~/MyFiles
link-editor -d ~/Vitis/ -f /mnt/FlashDrive-256/Filespace/ -r ~/MyFiles -R

Esimesel juhul, pärast kolimist /mnt/MyFavoriteDisk/Vitis/ oma kodukatalooge, redigeeritakse sümboolseid linke, mis on seotud alias'tega. Teisel juhul, pärast failiruumi asukoha muutmist, muudetakse kõik Vitis linkide teed vastavalt nende uute asukohtade nõudmisele.

Automaatne kategooria

Kui käivitada käsk vitis service get autocategorization, siis on näha, et vaikimisi on automaatsete kategooriate määramine seadistatud formaadi (Format ja Type) ja faililaiendi (Extension) alusel.

See on kasulik, kui näiteks vajate mõnda PDF-i leidmiseks või soovite vaadata, mis teil on säilitatuna EPUB ja FB2 formaadis, saate lihtsalt sisestada päringu

vitis show Format/MOBI u: Format/FB2

Just so happened that standard GNU/Linux tools like file or mimetype did not satisfy me precisely because they do not always determine the format correctly, I had to create my own implementation based on file signatures and extensions. In general, the topic of determining file formats is an interesting area for research and deserves a separate article. For now, I can say that I may not have provided accurate recognition for all formats in the world, but overall it works quite well already. However, EPUB is currently identified as ZIP (which is generally justified, but in practice, this should not be considered normal behavior). For some time, consider this feature experimental; please report any bugs. In unusual situations, you can always use categories by file extension, for example, Extension/epub.

If auto-categorization by format is enabled, auto-categorization that groups certain formats by type: 'Archives', 'Pictures', 'Video', 'Audio', and 'Documents' is also enabled. Localized names will be created for these subcategories as well.

What is not said

vitis became a very multifaceted tool, and it is difficult to cover everything at once. Briefly, I will mention what else can be done:

• categories can be deleted and removed from files;
• query results based on expressions can be copied to the specified directory;
• files can be launched as programs;
• the show command has many options, for example, sorting by name/date of modification or by access/size/extension, displaying file properties and paths to originals, including the option to show hidden files, and more;
• when saving links to internet sources, local copies of HTML pages can also be saved.

All details can be found in the user help.

Prospects

Often skeptics say that 'no one will set these tags themselves.' From my own experience, I can prove the opposite: I have already categorized more than six thousand files, created more than a thousand categories and aliases, and it was worth it. With one command vitis open Plan you open the list of your tasks or with one command vitis open LaTeX you open Stolyarov's book about the LaTeX typesetting system, it already becomes mentally challenging to use the file system 'the old way.'

Sellel pinnasel tekivad mitmed ideed. Näiteks võiks luua automaatse raadio, mis mängib temaatilist muusikat vastavalt praegusele ilmale, pühadele, nädala päevadele, päeva ajale või aastaaegadele. Lisaks on lähedane teema muusikamängija, mis tunneb kategooriaid ja suudab mängida muusikat kategooriate üle tegelevate avalduste alusel. Kasulik oleks luua demon, mis jälgib kausta „Allalaadimised“ ja pakub uute failide kategooriateks jagumist. Ja muidugi tuleks luua ka korralik graafiline semantiline failihaldur. Kunagi tegin ma isegi ettevõttele veebiteenuse failide ühiseks kasutamiseks, kuid see ei olnud prioriteet ja muutus ebaoluliseks, kuigi saavutas kõrge töökindluse taseme. (Suuremate muutuste tõttu selles vitis, ei ole see enam kasutamiseks sobiv.)

siin on väike demonstreerimine

Kokkuvõte

Vitis ei ole esimene katse radikaalselt muuta andmetöötluse stiili, kuid pidasin oluliseks oma ideid teostada ja avaldada teostust avatud juurdepääsu all GNU GPL litsentsi alusel. Mugavuse huvides on loodud deb-pakett x86-64 jaoks, see peaks töötama kõigil kaasaegsetel Debian-distrodel. ARM-il esines väikseid keerukusi (kui kõik muud programmid, mis on seotud vitis, töötavad normaalselt), kuid hiljem koostatakse ka sellele platvormile (armhf) töötav pakett. RPM-pakettide loomisega olen praegu lõpetanud seoses probleemidega Fedora 30-ga ja keerukusega hajutuda paljudele RPM-distrodele, kuid hiljem vähemalt paariks neist ikkagi pakette tehakse. Seni saab kasutada make && make install või checkinstall.

Suur tänu tähelepanu eest! Loodan, et see artikkel ja projekt osutuvad kasulikuks.

Lingid projekti repo kohta

Allikas: habr.com